Лютеранин. Из дворян Великого княжества Финляндского. Родился в имении Пикки Кирьола близ Ландышевки на Карельском перешейке.
В 1844 поступил во 2-й Финляндский линейный батальон. 29 января 1849 произведен в прапорщики, переведен в 6-й Либавский пехотный полк, с которым участвовал в Венгерском походе 1849, а во время Крымской войны охранял побережье Лифляндии и Курляндии.
В 1857 переведен в 1-й стрелковый батальон, с 1864 командир 13-го стрелкового батальона,в 1876—1882 командир 23-го Низовского пехотного полка.
В 1882 произведен в генерал-майоры и назначен командиром Восточно-Сибирской стрелковой бригады.14 июля 1884 назначен начальником острова Сахалин; в этой должности руководил Сахалинской каторгой и ссылкой. Провел большие строительные и дорожные работы, улучшив внутренние сообщения.Приказом за № 95 от 15 марта 1885 разрешил служащим эксплуатировать в качестве прислуги ссыльнокаторжан; это распоряжение, подвергнутое справедливой критике А. П. Чеховым и другими наблюдателями, было формально отменено преемником Гинце В. И. Кононовичем.Чехов, побывавший на острове через два года после отставки Гинце, в своей книге несколько раз упоминает его, оценивая деятельность бывшего начальника неизменно отрицательно. Гинце имел репутацию сурового руководителя, однажды за убийство айна по его приказу были повешены сразу 11 причастных к преступлению каторжников.
В честь начальника было названо село Андрее-Ивановское (ныне Белое).
С 17 октября 1888 в отставке.