Родился в семье инженера, выпускника Мюнхенской Высшей технической школы Давида Лазаревича Гвоздовера и домохозяйки Сарры Мироновны Гвоздовер.
В 1927 году окончил физико-математический факультет Московского университета по специальности «радио-вакуумтехника» под руководством профессора Н. А. Капцова. После окончания аспирантуры в 1931 году был оставлен преподавателем на физическом факультете. Степень кандидата физико-математических наук Гвоздоверу была присвоена в 1935 году по совокупности научных работ без защиты диссертации; докторскую диссертацию защитил в 1939 году по теме «Движение электронов в разряде низкого давления» .
В годы Великой Отечественной войны вместе с МГУ в эвакуации в Ашхабаде, был председателем Центрального месткома университета.
В 1943 году вернулся в Москву.
В сентябре 1946 года создал и возглавил первое в стране Отделение радиофизики и электроники при физическом факультете МГУ, которое включало кафедры высоких частот, электронной оптики и осциллографии, электронных и ионных приборов, акустики, радиолокации, колебаний, распространения радиоволн и теоретических основ радиотехники.
С 1947 года заведовал созданной им кафедрой физики сверхвысоких частот.
В 1958 году по инициативе С. Д. Гвоздовера в МГУ была организована Проблемная лаборатория квантовой радиофизики, которую он возглавлял почти до конца жизни (1967).
В лаборатории были запущены первые в стране рубиновый и гелий-неоновый лазеры.