Герман II был сыном ландграфа Людвига IV и Елизаветы Венгерской, дочери короля Андраша II.Ему было 5 лет, когда его отец умер от чумы в Шестом крестовом походе. Регентом юного ландграфа стал его дядя Генрих Распе.
Он изгнал из страны Елизавету Венгерскую, а после её смерти в 1231 году объявил себя соправителем племянника.
В 1239 году Герман II женился на Елене, дочери герцога Брауншвейг-Люнебургского Оттона I Дитя.Герман умер в 1241 году в 19-летнем возрасте. Существует мнение, что он был отравлен. Детей у него не было. Его вдова Елена Брауншвейгская (1223—1273) в 1247/1248 году вторично вышла замуж за Альбрехта I, герцога Саксен-Виттенбергского.