Герман Грамль, сын директора лесного училища, некогда служившего лесником у князей Эстерхази, вырос в замках в Эдельштеттене и Гюнцбурге. Во время Второй мировой войны служил помощником в противовоздушной обороне и работал по направлению Имперской службы труда.
В 1945 году попал в плен к американцам.Получив аттестат зрелости в 1947 году, Герман Грамль изучал историю, германистику и политические науки вМюнхенском университете у Франца Шнабеля и в Тюбингенском университете у Ганса Ротфельса и Теодора Эшенбурга.
В 1953 году поступил сотрудником на работу в Институт современной истории в Мюнхене.
В 1958—1959 годах работал на должности ежемесячного журнала Hinter dem Eisernen Vorhang. Являлся научным референтом, а позднее главным редактором. Женат, отец двоих детей.Грамль считается одним из ведущих экспертов в области международных отношений первой половины XX века.
Он также занимался исследованиями всех периодов истории Германии и, в частности, тематикой антисемитизма при национал-социалистах и движения Сопротивления Гитлеру.