Родился в семье сельского учителя. Родители были пиетисты. Был слаб физически, что наверстывал остроумием, интеллектом и начитанностью.
В 1756 году начал изучать теологию в Кёнигсбергском университете, слушал лекции Иммануила Канта.
В мае 1759 года стал преподавать как домашний учитель в доме голландского совета юстиции Теодора Поликарпа Войта.
В Кёнигсберге в масонской ложе трёх корон, отпрыска знаменитой берлинской масонской ложи Zu den drey Weltkugeln, ставившей своей целью примирить королей Пруссии, Польши и российского царя, Гиппель обучал Хендрика Крейзера (состоявшего на русской службе), племянника Войта.
В 1760—1761 годах проживал в Санкт-Петербурге, был принят в высшем обществе. Позже своё пребывание в России называл «одной из приятнейших эпох» своей жизни, больше похожей «на экстаз, нежели на земную реальность» . Страстно увлёкся всем русским.Вернувшись в Кёнигсберг, поступил на юридический факультет Кёнигсбергского университета, продолжил работу домашнего учителя. Пережил бурный роман, по одним сведениям — влюбился в дочь высокопоставленных родителей и получил отказ, по другим — пытался связать свою жизнь с падшей женщиной. Впоследствии решил не создавать семьи и посвятить себя науке.Получил должность в городском суде. Быстро приобрёл славу успешного адвоката. По легенде однажды ему удалось выиграть дело с помощью аргумента: «Собственное сознание своей правоты важнее для человека, нежели двое свидетелей его невинности» .
В 1780 году был назначен бургомистром, а в 1782 году — обер-бургомистром Кёнигсберга, в 1786 году стал членом военного совета и президентом города.
В 1786 году приобрёл на Миттель-Хуфене (тогда это было за пределами Кёнигсберга) небольшой домик с участком, который превратил в загородную резиденцию.
На участке разбил сад и парк в английском стиле, украсив его живописными руинами и башенками. Во время наполеоновских войн здесь была устроена летняя резиденция прусского короля Фридриха Вильгельма III, которую очень полюбила супруга Фридриха Вильгельма королева Луиза.
В 1872 году парк был приобретён прусским королём Вильгельмом I, с детства запомнившим это имение.
В 1914 году парк стал городским, затем — Центральным парком культуры и отдыха.Есть мнение, что Эрнст Теодор Гофман (друживший с любимым племянником Гиппеля — Гиппелем-младшим) вывел Гиппеля-старшего в роли «крёстного» Дроссельмейера в сказке «Щелкунчик и Мышиный король» . Весьма вероятно, что в создании образа использованы подлинные черты Гиппеля — чудак, «замаскированный» под важного чиновника… «маленький, сухонький человечек с морщинистым лицом» .Похоронен на кладбище в Кёнигсберге (сейчас это зелёная зона между улицей генерала Галицкого и Гвардейским проспектом в Калининграде).
В мае 2016 года на месте захоронения в ходе строительных работ был найден надгробный камень с могилы Гиппеля (ранее считавшийся утерянным), который был передан в Калининградский историко-художественный музей.