Брат театрального художника А. Ф. Гельцера, сестра Вера до замужества была артисткой Малого театра. Его дочь Екатерина Васильевна — выдающаяся балерина, другая дочь Любовь — актриса МХАТ c 1898 по 1906 год . После обучения в Московском театральном училище, которое закончил экстерном, с 1856 года работал в Большом театре фигурантом.
В 1863 году переведён в солисты. Наиболее значительной работой была партия Иванушки в балете Цезаря Пуни «Конёк-Горбунок» , поставленного в Большом театре, балетмейстером А.Сен-Леон 16 декабря 1866 года.Гельцер был известен в первую очередь как характерный танцовщик, хороший мимический актёр.
Он выступал как в комических партиях, в том числе женских (фея Карабос, Марцелина), так и в трагических ролях (Клод Фролло). Выступал на сцене до 1906 года, когда состоялся его прощальный бенефис.
С 1894 по 1901 год Гельцер работал режиссёром балетной труппы Большого театра.
С 1898 преподавал мимику и пластику в Московском балетном училище и Московской консерватории; поставил танцы для премьеры оперы П. И. Чайковского «Евгений Онегин» осуществленной силами студентов Московской консерватории в 1879.
С 1898 по 1902 он возглавлял Московское балетное училище.
В 1876 г. Гельцер совместно с В. П. Бегичевым написал сценарий к балету П. И. Чайковского «Лебединое озеро» .