Алексей Голощапов родился 24 апреля 1923 года в селе Высоцкое (ныне — Петровский район Ставропольского края) в семье казака. Окончил семь классов сельской школы.
В 1938 году переехал к сестре в Горький.
В мае 1941 года Голощапов окончил двухгодичные легководолазные курсы при Горьковском областном ОСВОДе, после чего работал на Сормовской спасательной станции. Осенью 1941 года принимал участие в строительстве оборонительных сооружений.
В начале 1942 года Голощапов был призван на службу в Рабоче-крестьянскую Красную Армию и направлен на учёбу в десантную школу в Москве. Через полгода медицинская комиссия признала его негодным к десантной службе и отправила его в стрелковую часть.
С августа 1942 года — на фронтах Великой Отечественной войны. Принимал участие в боях на Закавказском и Северо-Кавказском фронтах. Участвовал в боях под Туапсе, освобождении Новороссийска и Таманского полуострова.
К ноябрю 1943 года старший сержант Алексей Голощапов был комсоргом 1133-го стрелкового полка 339-й стрелковой дивизии 56-й армии Северо-Кавказского фронта. Отличился во время Керченско-Эльтигенской операции.
В ночь со 2 на 3 ноября 1943 года Голощапов вместе с группой пехотинцев одним из первых в своём полку высадился на побережье Крыма в районе местечка Опасное к востоку от Керчи. Уничтожив два пулемёта и расчёт орудия, группа развернула это орудие и открыла прицельный огонь по другим немецким орудиям береговой батареи.
На рассвете пехота противника при поддержке трёх танков предприняла контратаку против группы Голощапова.
В ходе отражения этой атаки он лично уничтожил 15 вражеских солдат и офицеров. Когда в одном из последующих боёв выбыл из строя командир взвода, Голощапов взял командование на себя и повёл бойцов в наступление на окраину Керчи. Когда под пулемётным обстрелом взвод залёг, Голощапов вместе с двумя бойцами подобрался к дому, из которого вёлся огонь, и уничтожил пулемётчиков гранатами.
В другом доме взвод Голощапова уничтожил засевших там вражеских солдат, дав тем самым возможность батальону продолжить наступление.
В течение шести дней Голощапов лично уничтожил не менее 60 солдат и офицеров противника, а также один танк. 8 ноября 1943 года Голощапов погиб под гусеницами танка. Точное место захоронения неизвестно, возможно, он похоронен в одной из братских могил в посёлках Подмаячный и Опасное, или же непосредственно в Керчи. Посмертно Голощапов был представлен к званию Героя Советского Союза лишь в феврале 1944 года, однако документы ходили по инстанциям ещё в течение года.Указом Президиума Верховного Совета СССР от 24 марта 1945 года за «образцовое выполнение боевых заданий командования на фронте борьбы с немецкими захватчиками и проявленные при этом мужество и героизм» старший сержант Алексей Голощапов посмертно был удостоен высокого звания Героя Советского Союза.
В честь Голощапова названы улицы в Керчи и селе Высоцком, в Высоцком также установлен бюст Голощапова.Был также награждён орденом Славы 3-й степени и медалью «За отвагу» .