Внук Георга Фридриха Гротефхеенда, филолога, востоковеда, исследователя древностей, который положил начало дешифровке древнеперсидской клинописи. Сын археолога, нумизмата, историка Карла Людвига Гротефенда.
В 1864—1870 изучал медицину и фармацию в Гёттингенском университете, затем исторические науки. После получения в 1870 году докторской степени, работал в Королевском государственном архиве в Бреслау. Оттуда в 1874 году переехал в Аурих, а в 1876 — во Франкфурт-на-Майне, где работал архивариусом, а в 1887 возглавил Главный архив Шверина (Тайный совет архивов). Работал руководителем до 1921 года.
В 1891 году опубликовал в Ганновере классический исторический труд «Руководство по исторической хронологии» («Taschenbuch der Zeitrechnung des deutschen Mittelalters und der Neuzeitот» ) от эпохи немецкого средневековья до Нового времени, который является незаменимым инструментом исторических вспомогательных наук до сегодняшнего дня, и который, как правило, называют просто «Grotefend» по имени его автора.
В 2007 году вышло 14-е его издание.
В 1898—1928 под его редакцией издано 6 изданий «Справочника по хронологии немецкого средневековья и Нового времени» .