Александр Гвоздев родился 15 (27) марта 1892 в с. Сивинь Старошайговского района Мордовии. Окончил Московский университет в 1918 году.После окончания университета до 1938 года Гвоздев работал в Пензе — в школе, в педагогическом училище и в Пензенском институте народного образования (позже этот институт был преобразован в педагогический техникум).
В 1921 году стал изучать пензенские говоры. Опубликовал «Диалектологический атлас Пензенской губернии» .
В 1938 году по совокупности работ А. Н. Гвоздеву без защиты диссертации была присвоена учёная степень кандидата филологических наук.
С 1938 года и до 1959 работал в Куйбышевском педагогическом институте, с 1944 по 1959 год — профессор этого института.
В 1943 году он защитил докторскую диссертацию «Формирование у детей грамматического строя русского языка» и получил степень доктора филологических наук.
В 1944 году Гвоздев получил звание профессора.
В 1945 году А. Н. Гвоздев был избран членом-корреспондентом Академии педагогических наук РСФСР.Племянница — лингвист Е. С. Скобликова (род. 1924).Александр Николаевич Гвоздев умер в декабре 1959 года в городе Куйбышеве.
Он стал одним из первопроходцев в области изучения онтогенеза языка (то есть усвоения родного языка ребёнком) и таким образом предшественником современной онтолингвистики. Гвоздев разработал теорию основных и второстепенных значений букв с учётом алфавитных значений букв и тех звуковых значений, которые появляются у буквы в тексте.
К 70-летию учёного посмертно была издана книга «Избранные работы по орфографии и фонетике» (М.: АПН РСФСР, 1963).