Александр Гельфонд родился 24 октября 1906 года в Санкт-Петербурге в семье врача и публициста Иосифа Исааковича Гельфонда. Отец, член Петербургского литературного общества, в 1908 году принял участие в коллективном сборнике «Очерки по философии марксизма» и подвергался критике В. И. Лениным в работе «Материализм и эмпириокритицизм» . Семья жила на Большом проспекте (Петроградская сторона), дом № 28.
В 1924 году поступил на физико-математический факультет Московского университета, который закончил в 1927 году. Под руководством А. Я. Хинчина и В. В. Степанова продолжил обучение в аспирантуре, которую закончил в 1930 году.
В 1929—1930 годах преподавал в МВТУ. Будучи аспирантом, опубликовал в 1929 году частичное решение седьмой проблемы Гильберта.
В 1931 году начал работать на физико-механическом факультете МГУ (после реорганизации структуры МГУ в апреле 1933 года — на механико-математическом факультете МГУ).
С 1933 года Гельфонд работал также в Физико-математическом институте, затем — отделе теории чисел Математического института им. В. А. Стеклова АН СССР (один из первых сотрудников).
В этих двух организациях он продолжал свою работу до конца своей жизни.
В 1934 году А. О. Гельфонд получил полное решение седьмой проблемы Гильберта: он доказал, что число вида,{displaystyle alpha ^{eta },}где{displaystyle alpha }— алгебраическое число, отличное от0{displaystyle 0}и1,{displaystyle 1,}а{displaystyle eta }— иррациональное алгебраическое число, всегда является трансцендентным.
В 1935 году ему была присвоена степень доктора физико-математических наук, а в 1939 году он был избран членом-корреспондентом Академии наук СССР.
На мехмате МГУ А. О. Гельфонд читал лекции по теории чисел и теории функций комплексного переменного.
В 1938 году кафедра анализа и теории функций мехмата МГУ была разделена на кафедру теории функций и кафедру математического анализа, заведующим которой стал А. О. Гельфонд, возглавлявший её до 1943 года.
С 1948 года до конца своей жизни Гельфонд был заведующим кафедрой теории чисел мехмата МГУ.Во время Великой Отечественной войны Гельфонд был привлечён к работам в области криптографии при Главном Штабе Военно-Морского Флота. Научные труды А. О. Гельфонда посвящены теории чисел и теории функций комплексного переменного.
В области теории чисел он, помимо решения седьмой проблемы Гильберта (1934), доказал трансцендентность логарифмов алгебраических чисел при алгебраическом основании (1946), исследовал взаимную трансцендентность чисел и общие вопросы диофантовых приближений (1949).
В области теории функций комплексного переменного он изучал проблемы полноты систем функций и вопросы интерполяции в комплексной области.
В 1940 году А. О. Гельфонд перенёс свои исследования по количественным оценкам, связанным с трансцендентными числами, на p-адические поля.
В 1948 году он доказал теорему о приближении алгебраических чисел алгебраическими числами и её p-адический аналог.А. О. Гельфонд интересовался также историей и методологией математики. Ему принадлежат исследования о работах Л. Эйлера по теории чисел и анализу, ряд статей по истории трансцендентных чисел, по истории отдельных вопросов теории чисел и теории функций.Среди учеников А. О. Гельфонда — более 10 докторов наук и 30 кандидатов наук.