Й. Гиртль родился в Айзенштадте в 1810 году, административно входившем тогда в венгерскую часть Австрийской империи, в небогатой семье музыканта (его отец играл на гобое в придворной княжеской капелле Эстергази). Начал изучать медицину в Вене в 1831 году. Отличался среди студентов своими способностями, и уже в 1833 году становится прозектором, ассистентом профессора Йозефа Юлиуса Чермака. Читал студентам-физиологам курс лекций по практической анатомии.
В 1837 году Гиртль становится профессором Карлова университета в Праге. Здесь он занимается научной работой, пишет несколько трудов.
В 1845 учёный возвращается в Венский университет. Здесь ему ассистирует ставший впоследствии весьма известным чех Йиндржих Ванкель.
В 1850 году Гиртль оканчивает свой «Словарь топографической анатомии» , ставший повсеместно одним из важнейших учебников для медицинских училищ.
В 1850 также он создаёт в Вене Музей сравнительной анатомии, а также реконструирует основанный в 1745 году Герардом ван Свитеном Музей человеческой анатомии.
В 1864 году, к 500-летию Венского университета, Й. Гиртль назначается его ректором, как один из самых заслуженных профессоров.
В 1857 он становится членом-корреспондентом Берлинской академии наук.
В 1874 году, в связи с ослаблением зрения, учёный оставляет преподавательскую деятельность, и уезжает с женой в Перхтольдсдорф, где у Гиртлей был свой дом, и там продолжает научную деятельность. 17 июля 1894 года Й. Гиртль был найден мёртвым в своей постели.После смерти учёного по его завещанию значительные суммы были переданы на благотворительные цели — для поддержания сирот и инвалидов.
На эти средства в Мёдлинге (Нижняя Астрия) был построен Дом сирот, носящий имя Й. Гиртля.Брат Й. Гиртля, Якоб Гиртль (1799—1868), был известным венским гравёром.
В его владении находился череп Моцарта, который он завещал своему брату-анатому. Й. Гиртль исследовал череп, а затем передал его по завещанию в Моцартеум, в Зальцбурге.