Родился в 1919 году в Ростове-на-Дону, в семье коренных москвичей, оказавшихся там в силу жизненных обстоятельств периода Гражданской войны.Отец Гзовский Владимир Владимирович,мать Гзовская Нина Михайловна (Авилова).Внук Л. А. Авиловой..
В 1938 году Гзовский поступил в Московский геолого-разведочный институт (МГРИ), где стал учиться с большим увлечением. Уже тогда, по отзывам ряда преподавателей (В. В. Меннера (1905—1989) и др.) он был одним из самых талантливых студентов своего поколения.Ещё будучи студентом Гзовский начинает вести полевые исследования, участвует в работах Северо-Кавказской экспедиции МГРИ под руководством Д. С. Кизевальтера (1912—1987) и М. В. Муратова (1908—1982), в 1941 году составляет геологическую карту северо-восточного Приэльбрусья.Последние годы учёбы пришлись на период Великой Отечественной войны.
В 1943 году по окончании МГРИ направлен военным геологом в составе военно-геологического отряда «Спецгео» на Центральный фронт.
С фронта, в результате тяжёлого заболевания, попадает в госпиталь. После госпиталя поступает в аспирантуру МГРИ, где его научным руководителем становится профессор В. В. Белоусов (1907—1990).
В 1947—1950 преподавал в МГРИ.
С 1950 работал в Геофизическом институте АН СССР. Одновременно в 1951—1965 читал курс лекций по тектонофизике в МГУ.
В 1964 возглавил тектонофизическую группу и руководил сейсмо-тектонической частью работ в районе строительства ГЭС в Таджикистане.
В 1965 основал и возглавил лабораторию тектонофизики Института физики Земли АН СССР, оставаясь её заведующим до своей смерти в 1971 году.