Родился 17 мая 1907 года в городе Кутаиси.
В 1924 году окончил Социально-гуманитарный техникум, а по окончании учёбы поступил на физико-математическое отделение в Тбилисский государственный университет.
С 1929 года начал работать в Политехническом институте на кафедре теоретической механики.
В 1932 году направлен в аспирантуру Ленинградского государственного университета, которую заканчил в 1935 году, а по возвращении в Тбилиси работал в Грузинском политехническом институте, Тбилисском государственном университете и в Институте математики АН Грузии, в организации и становлении которого он принимал самое активное участие.
С 1935 по 1954 годы работал в Тбилисском институте математики им. А. М. Размадзе АН Грузии (как старший научный сотрудник, учёный секретарь, заместитель директора института).
В 1938 году был избран на должность заведующего кафедрой теоретической механики ГПИ, одновременно читал курсы лекций по ряду специальностей в ТГУ.
С 1940 по 1954 году работал помощником президента Академии Наук Грузинской ССР, а в 1960-е годы по его инициативе в Тбилиси был организован научно-методической семинар по механике.
В 1969 году А. Я. Горгидзе было присвоено звание «Заслуженный деятель науки Грузии» , позднее награждён орденами и медалями[какими].
В 1970 года А. Я. Горгидзе являлся членом президиума Научно-методического совета по теоретической механике Министерства высшего и среднего специального образования СССР; возглавлял Научно-методический совет по теоретической механике Закавказья и Грузии; был членом правления математического общества Грузии.Основные труды А. Я. Горгидзе посвящены численному решению плоских задач теории упругости; дал точный метод решений задач кручения и изгиба изотропных и анизотропных, однородных и неоднородных призматических стержней.Скончался 17 декабря 1992 года в Тбилиси.
В 1998 году посмертно удостоен Государственной премии Грузии.