Родился в 1958 году в Сочи, в семье инженеров немецкого происхождения (единственным известным Гейму исключением среди его немецких предков была прапрабабка с материнской стороны, которая была еврейкой). Гейм считает себя европейцем и полагает, что не нуждается в более подробной «таксономии» .
В 1964 году семья переехала в Нальчик.Отец, Константин Алексеевич Гейм (1910—1998), с 1964 года работал главным инженером Нальчикского электровакуумного завода; мать, Нина Николаевна Байер (род. 1927), работала главным технологом там же. Единокровный брат матери — известный физик-теоретик Владимир Николаевич Байер, сын Николая Николаевича Байера, деда Андрея Гейма.
В 1975 году Андрей Гейм окончил с золотой медалью среднюю школу № 3 города Нальчика и пытался поступить в МИФИ, но неудачно (препятствием явилось немецкое происхождение абитуриента). Вернувшись в Нальчик, проработал 8 месяцев на Нальчикском электровакуумном заводе.
В это время познакомился с В. Г. Петросяном и занимался у него усиленной подготовкой по физике.
В 1976 году поступил в Московский физико-технический институт.
До 1982 года обучался на факультете общей и прикладной физики, окончил с отличием («четвёрка» в дипломе только по политэкономии социализма) и поступил в аспирантуру.
В 1987 году получил степень кандидата физико-математических наук в Институте физики твёрдого тела РАН. Работал научным сотрудником в ИФТТ АН СССР и в Институте проблем технологии микроэлектроники АН СССР.
В 1990 году получил стипендию Английского королевского общества и уехал из Советского Союза. Работал в Ноттингемском университете, университете Бата (англ.)русск., а также недолго в Копенгагенском университете, перед тем как стал доцентом университета Неймегена, а с 2001 года — Манчестерского университета.
В настоящее время — руководитель Манчестерского центра по «мезонауке и нанотехнологиям» , а также глава отдела физики конденсированного состояния.Почётный доктор Делфтского технического университета, Швейцарской высшей технической школы Цюриха и Антверпенского университета. Имеет звание «профессор Лэнгуорти» Манчестерского университета (англ. Langworthy Professor, среди удостоенных этого звания были Эрнест Резерфорд, Лоурэнс Брэгг и Патрик Блэкетт).
В 2008 году получил предложение возглавить один из институтов Макса Планка в Германии, но ответил отказом.Подданный Королевства Нидерландов. Супруга — Ирина Григорьева (выпускница Московского института стали и сплавов), работала, как и Гейм, в ИФТТ АН СССР, в настоящее время работает вместе с мужем в лаборатории Манчестерского университета.После присуждения Гейму Нобелевской премии директор департамента международного сотрудничества фонда «Сколково» Алексей Ситников объявил о намерении пригласить его работать в Сколково. Гейм заявил: Там у вас люди что – с ума посходили совсем Считают, что если они кому-нибудь отсыпят мешок золота, то можно всех пригласитьПри этом Гейм сказал, что не имеет российского гражданства и чувствует себя в Великобритании комфортно, выразив скептическое отношение к проекту российского правительства создать в стране аналог Кремниевой долины.