Джордж Гамильтон-Гордон происходил из старинного шотландского дворянского рода Гордонов. Первоначальное образование он получил в Харроу, а в 1801 г. отправился в Кембридж и в том же году наследовал после своего деда титул графа Абердина.Джордж Гамильтон-Гордон принимал участие в мирных переговорах в Амьене, после чего посетил Италию, Грецию и Малую Азию и вернулся из путешествия в 1804 г. через Россию и Балтийское море.