С четырёх лет обучался игре на фортепиано и скрипке у отца, в начальной школе изучал фортепиано и теорию музыки с Себастьяном Вайкслером. Его не интересовали никакие предметы, кроме музыки: из первой школы он был отчислен как «совершенно не отвечающий требованиям» , из второй ушёл сам из-за трудностей с латынью, последнюю бросил после ссоры с преподавателем, помянувшим «проклятую музыку» . Затем, к неудовольствию отца, поступил в Венскую консерваторию (1875—1877), однако был исключён за «нарушение дисциплины» , хотя Вольф утверждал, что ушёл сам из-за царившего там консерватизма.Проведя восемь месяцев в семье, Вольф вернулся в Вену, чтобы давать уроки музыки. Хотя его вспыльчивый темперамент не слишком подходил для преподавания, благодаря музыкальной одарённости и личному обаянию он привлёк к себе внимание. Поддержка покровителей позволяла ему жить сочинением музыки, а дочь одного из них, Валли (Валентина) Франк, его первая любовь, с которой у него был трёхлетний роман, вдохновляла его на сочинение.
В период отношений с Франк в песнях Вольфа стали проявляться черты его зрелого стиля.Вольф всю жизнь был склонен к депрессии и резким перепадам настроения. Незадолго до его 21-го дня рождения от него ушла Валли; совершенно подавленный, Вольф вернулся в родительский дом, хотя отношения с семьёй тоже не складывались: отец по-прежнему был убеждён в непутёвости сына. Краткое пребывание Вольфа на посту второго капельмейстера в Зальцбурге (1881—1882) только укрепило это мнение: он не обладал ни темпераментом, ни дирижёрской техникой, ни склонностью к подчёркнуто не-вагнеровскому репертуару.
В течение года Вольф вернулся в Вену и продолжил давать уроки музыки в прежних обстоятельствах.Глубоко повлияла на молодого композитора смерть Вагнера в феврале 1883.
В последующие годы Вольф часто отчаивался по поводу своего будущего в мире, из которого ушёл его кумир, открывший бескрайний путь для последователей, но не указавший, как по нему идти.
Это часто приводило к резким перепадам настроения, отчуждению от друзей и покровителей, хотя обаяние Вольфа помогало ему сохранить отношения с ними. Тем временем его песни привлекли внимание Ференца Листа, которого он очень высокого ценил. Лист, как и предыдущие учителя Вольфа, посоветовал ему обратиться к крупным формам; на этот раз Вольф последовал совету, написав симфоническую поэму «Пентесилея» .
В 1884—1887 годах Вольф вёл музыкально-критическую колонку в газете «Венский салонный листок» (нем. Wiener Salonblatt).
Он был беспощаден к произведениям, которые считал отвратительными; особенно доставалось от него Антону Рубинштейну.
В то же время он пылко выступал в поддержку Листа, Шуберта и Шопена. За свою язвительность получил прозвище «Дикий Вольф» и нажил немало врагов.
В эту пору Вольф почти не занимался композицией, а немногие его сочинения тех лет («Пентесилея» , квартет ре минор) не удостаивались исполнения. Уйдя из газеты, Вольф вновь посвятил себя композиции; среди его сочинений 1887 года — «Итальянская серенада» для струнного квартета, считающаяся одним из лучших образцов его зрелого инструментального стиля. Через неделю после завершения «Серенады» Вольф узнал о смерти отца, повергшей его в глубокую депрессию.1888—1889 гг. оказались для Вольфа невероятно плодотворными.
Он поехал в Перхтольсдорф в загородный дом своих друзей детства Вернеров, где в бешеном темпе создал цикл песен на стихи Мёрике. За коротким перерывом и переездом в загородный дом других друзей Вольфа — Экштайнов — последовали циклы на стихи Эйхендорфа и Гёте.
В октябре 1889 была начата «Испанская книга песен» . Вольф по достоинству оценивал эти циклы, считая их лучшими своими сочинениями на тот момент.
К нему наконец пришло признание. Тенор Фердинанд Егер, присутствовавший на одном из первых исполнений цикла на стихи Мёрике, стал постоянно исполнять песни Вольфа в концертах. Произведения Вольфа удостоились отзывов в прессе, хотя и не всегда положительных: приверженцы Брамса, памятуя о беспощадных статьях Вольфа, не оставались в долгу при каждом удобном случае. Биограф Брамса Макс Кальбек высмеивал Вольфа за незрелую манеру письма и странные тональные эксперименты. Вагнеровская певица Амалия Матерна отменила свой концерт из произведений Вольфа под угрозой попадания в чёрный список критиков.
В конце 1891, по завершении первой половины «Итальянской книги песен» , физическое и психическое здоровье Вольфа снова пошло на спад; от истощения после нескольких плодотворных лет, усугублённого последствиями сифилиса и депрессивным характером, он вынужден был оставить композицию на несколько лет, что только ухудшало его депрессивное состояние. Его произведения продолжали исполняться в Австрии и Германии, их популярность росла; даже Брамс и критики, прежде поносившие Вольфа, начали отзываться о них положительно.Ещё в 1890 Вольф с отвращением отверг либретто оперы «Коррехидор» по новелле Педро Антонио де Аларкона «Треуголка» , но позднее, будучи убеждён в необходимости написать оперу, перестал замечать недостатки либретто.
В сюжете о любовном треугольнике Вольф мог увидеть собственную судьбу: у него несколько лет был роман с Мелани Кёхерт, женой его друга Генриха Кёхерта. Считается, что роман начался в 1884, когда Вольф ездил вместе с Кёхертами на отдых; хотя в 1893 Генрих узнал о романе, он остался покровителем Вольфа и мужем Мелани. Опера была написана за девять месяцев и встречена с интересом, но музыка Вольфа не смогла компенсировать слабости либретто.
В 1896—1897 последовал новый всплеск творческой активности: в марте-апреле 1896 Вольф завершил «Итальянскую книгу песен» , в марте 1897 написал три песни на стихи Микеланджело и начал работу над оперой «Мануэль Венегас» .Вскоре после концерта с Егером в феврале 1897 Вольф впал в сифилитическое умопомрачение с очень редкими улучшениями. Отчаянные попытки завершить «Мануэля Венегаса» ни к чему не привели. Со второй половины 1899 Вольф полностью утратил способность к композиции и однажды даже попытался утопиться, после чего по собственному настоянию был помещён в Венскую психиатрическую больницу. Мелани преданно посещала его до самого конца; мучимая изменой мужу, в 1906 году она покончила с собой.