Андрей Грабар родился 26 июля [8 августа] 1896 года в семье юриста и сенатора Николая Степановича Грабара. Его мать, Елизавета Ивановна, происходила из семьи баронов Притвиц. Его младший брат, Пётр Грабар, был известным иммунологом. После окончания в 1914 году киевской гимназии Грабар отправился добровольцем на фронт в Галицию, однако вскоре был демобилизован по причине болезни. Поступив в Киевский университет на историко-филологический факультет, он перевёлся через год в университет Петрограда, куда семья переехала после того, как отец получил новое назначение. Там он примкнул к школе Н. П. Кондакова, занимался в семинаре его старшего ученика Д. В. Айналова. После Февральской революции Грабару пришлось покинуть Петроград. Сначала он вернулся в Киев, а затем отправился в Одессу, где в то время преподавал Кондаков и там закончил курс.
В январе 1920 он покинул город и вместе с матерью отправился в Варну, Болгария.
В Болгарии Грабар работал в Археологическом музее (англ.)русск. в Софии, руководители которого, Андрей Протич и Богдан Филов помогали ему с поездками по стране. Там он познакомился со своей будущей женой, Юлией Ивановой.
В октябре 1922 Грабар переехал в Страсбург, где ему было предложено место преподавателя русского языка в местном университете; там же он защитил докторскую диссертацию.
В 1928 году семья получила французское гражданство, а в 1929 и 1933 годах родились сыновья Олег и Николай.
В это время была написана его книга «Император в византийском искусстве» , вышедшая в 1936 году. Книга произвела сильнейшее впечатление на научную общественность. Вскоре автор получил от патриарха французской византинистики Габриэля Милле (фр.)русск. предложение занять его место в Ecole pratique des hautes etudes (англ.)русск..
В 1938 году Грабар переехал в Париж, где плодотворно занимался исследованиями; перипетии Второй мировой войны его не коснулись.
В течение многих лет он прослужил профессором византийской археологии в Коллеж де Франс, а в 1958 году он переехал в США, где стал одной из центральных фигур Думбартон-Окс.