Родился в венгерской еврейской семье.
В семилетнем возрасте был крещен родителями (также крестившимися) в католическую веру. Отец и мать погибли в период Холокоста (1944). После войны Вермеш стал католическим священником. Учился в Будапеште, затем в Лёвенском университете, получил степень доктора теологии (1953), диссертация была посвящена кумранским рукописям.
В 1957 оставил католическую церковь, переехал в Великобританию, получил место в Ньюкаслском университете.
В 1965 перешел в Оксфордский университет, был в нем первым профессором иудаики, вышел в отставку в 1991.
В 1970 стал членом Либеральной еврейской синагоги Лондона.
До своей кончины — почетный профессор иудаики, почетный член Wolfson College (Оксфорд), главный редактор Journal of Jewish Studies (c 1971), директор Оксфордского форума исследователей Кумрана (с 1991). Был инициатором создания Британской (1975) и Европейской (1981) ассоциации исследователей иудаизма. Под его редакцией (вместе с Фергусом Милларом и Мэтью Блэком) вышел дополненный и пересмотренный перевод фундаментального труда Эмиля Шюрера «История еврейских народов в эпоху Иисуса Христа» (3 тт., 1973—1987).Скончался от рака.