Родился в Пруссии в семье католиков. Изучал германистику, философию и медицину в Йенском и Гёттингенском университетах. Врачебную практику начинал в Вене.
В 1806 г. приехал в Россию в качестве домашнего врача семейства Репниных-Волконских.
В 1809 и 1810 годах совершил путешествия по Кавказу для изучения минеральных источников (ныне Кавказские Минеральные Воды). Исследовал источники в Кисловодске, открыл источники Железноводска, первым сообщил об источниках в Ессентуках (хотя и не придал им важного значения). Во время Отечественной войны 1812 года работал в качестве хирурга в Русской армии.
С 1813 года, после кратковременной поездки на родину, жил и работал в Москве. Фактически посвятил свою жизнь облегчению участи заключённых и ссыльных.
Он боролся за улучшение жизни узников: добился, чтобы от кандалов освобождали стариков и больных; упразднения в Москве железного прута, к которому приковывали по 12 ссыльных, следовавших в Сибирь; отмены бритья половины головы у женщин. По его инициативе были открыты тюремная больница и школа для детей арестантов. Постоянно принимал и снабжал лекарствами бедных больных. Боролся за отмену права помещиков ссылать крепостных.
На благотворительность ушли все его сбережения.За свою благотворительную деятельность был представлен московским губернатором Д. С. Ланским к ордену Святого Владимира 4-й степени; этот знак отличия Гааз очень ценил и неизменно носил его до смерти на своём поношенном, но всегда опрятном фраке.Похоронен на Введенском кладбище в Москве; в последний путь его провожала 20-тысячная толпа.