После переселения в Германию Грюнберг проживал со своими родителями в городе Лаутербах в федеральной земле Гессен.
В 1959 г. он сдал экзамены на допуск в университет (Abitur). Начиная с 1962 г. он обучался во Франкфуртском университете и в Дармштадтском техническом университете.
С 1966 по 1969 гг. Грюнберг проходил аспирантуру у профессора Штефана Гюфнера по теме «Спектроскопические исследования некоторых редкоземельных гранатов» и защитил диссертацию в 1969 г., получив степень доктора философии. Затем он провёл три года в Карлтонском университете в Оттаве.
С 1972 года работал научным сотрудником в исследовательском центре Юлиха.
С момента выхода на пенсию в 2004 г. Грюнберг работал в качестве приглашённого учёного в исследовательском центре Юлиха в институте исследования твёрдого тела, отделении электронных свойств.