Окончил Кёльнскую консерваторию, ученик Фердинанда Хиллера (композиция), Отто фон Кёнигслёва (скрипка) и Изидора Зайса (фортепиано).
В дальнейшем совершенствовался как скрипач под руководством Анри Вьётана, Юбера Леонара и Йозефа Иоахима.
В 1870 г. начал играть на альте в струнном квартете Эрнста Шивера, в составе которого был нанят графом Болько фон Хохбергом для работы в графском замке Роншток (ныне Добромеж, Свидницкий повят в Силезии).
В 1875—1880 гг. музикдиректор Марбургского университета.
В 1880—1884 гг. руководил хоровыми коллективами в Висбадене.
С 1884 г. генеральмузикдиректор Бонна.
В 1890 г. защитил в Лейпциге диссертацию «Историческое исследование музыкальной темы и её проведения» (нем. Geschichtliche Studien uber das musikalische Motiv und seine Durchfuhrung). Был дружен с Иоганнесом Брамсом, оставил о нём мемуары.
В 1898 г. оставил пост генеральмузикдиректора, сохранив за собой должность музикдиректора Боннского университета (до 1915 года). Среди учеников Вольфа, в частности, Элли Ней.Наиболее известный труд Вольфа — монография «Церковные кантаты Иоганна Себастьяна Баха» (нем. J. Sebastian Bachs Kirchenkantaten; 1913).