Родился 26 июня 1861 года в Висбадене в еврейской семье, родители Герман и Жанетт Герксгеймер (урождённая Либман). Учился во Фрайбургском, в Бреславском, Страсбургском, Вюрцбургском университетах.
В 1885 году защитил диссертацию на соискание степени доктора медицины в Вюрцбурге. Впоследствии был ассистентом в патологическом институте во Франкфурте-на-Майне, а в Бреслау, учился с Альбертом Нейссером, первооткрывателем гонококка.
В 1885 году стал специалистом в области дерматологии во Франкфурте.
В 1894 году — директор дерматологической клиники Франкфурта-на-Майне. Вместе с Паулем Эрлихом участвовал в создании университета во Франкфурте (основан в 1912 году).
С 1914 года — ординарный профессор кафедры кожных и венерических болезней медицинского факультета Франкфуртского университета.«Камень преткновения» в память о Герксгеймере во ФранкфуртеПосле прихода нацистов к власти в Германии в 1933 году, начались гонения на евреев. Близкие пытались убедить ушедшего в отставку по возрасту с должности профессора Герксгеймера покинуть Германию, однако он остался.28 августа 1942 года Герксгеймера арестовало гестапо, несмотря на большие научные заслуги. Через несколько дней его доставили в концентрационный лагерь Терезиенштадт в Чехии, где он умер от голода и дизентерии 6 декабря 1942 года. Описал резкое ухудшение состояния здоровья при лечении больного сифилисом, названное впоследствии реакция Яриша — Герксгеймера.Описал акродерматит атрофический хронический (Герксгеймера — Гартманна атрофический акродерматит), описанный раннее в 1895 году чешским дерматологом Ф. Й. Пиком (1834—1910) под названием «эритромелия Пика» .