Родился в крестьянской семье. Посещал народную школу, учился на предпринимателя в Фюрстенфельде.
В мае 1931 года вступил в НСДАП, а спустя полгода и в СА. Вступление в СА стоило ему, по его собственным словам, рабочего места.
В мае-сентябре 1933 года был арендатором кафе-ресторана «Вена» в Хартберге.
В сентябре 1933 году переехал из Австрии в Германию, где записался в Австрийский легион, в котором служил до июня 1938 года В том же году перешёл из СА в СС.Карьера в ССВ ноябре 1938 года Бруннер начал работать в Центральном управлении по выселению евреев в Вене.
На этом посту он в 1941—1942 годах организовывал депортацию венских евреев в гетто и лагеря смерти на Востоке.
В октябре 1942 — январе 1943 года отправил в лагеря смерти 56000 берлинских евреев.
В феврале 1943 года переведён в Салоники, где организовал депортацию 50000 греческих евреев.
В июле 1943 года в качестве руководителя зондеркоманды гестапо был задействован в транзитном и сборном лагере Дранси под Парижем, откуда отправил 22 транспорта с евреями в Освенцим. Всего до августа 1944 года усилиями Бруннера из Франции было депортировано 23500 евреев.
В сентябре 1944 — феврале 1945 года занимался ликвидацией еврейского подполья в Словакии, откуда отправил в Освенцим 12000 человек.