Сын банкира еврейского происхождения Франца Бамбергера. Изучал историю искусства и германистику в Мюнхене и Гейдельберге.
В 1914 году написал диссертацию на тему «Иоганн Конрад Зеекац. Немецкий художник восемнадцатого века» (Гейдельберг, 1916).
С началом войны ушёл на фронт добровольцем, но был комиссован из-за воспаления надкостницы.Бергер занялся театральной режиссурой и 25 марта 1916 года поставил в Майнцском городском театре собственную пьесу «Садовница любви» по опере Моцарта «Мнимая садовница» .
В следующие годы он работал в берлинских театрах со многими классическими произведениями, в основном, с Шекспиром.Бергер также много работал в кино начиная с 1920 года. Переломными для него стали «Стакан воды» и «Потерянный ботинок» (оба 1923). Его первый звуковой фильм «Король бродяг» был создан в 1930 году в США. Самым известным фильмом Бергера стал мюзикл «Битва вальсов» (1933, с участием Ренаты Мюллер, Ханны Вааг, Вилли Фрича).
В 1935 году Бергер эмигрировал через Францию и Нидерланды в Англию. Вскоре он вернулся в Германию, где в уединении проживал в Шлангенбаде.
Он пытался получить заказы из Парижа и Лондона, но снял за рубежом лишь несколько фильмов — «Три вальса» и «Багдадский вор» . Во время Французской компании Бергер находился в Нидерландах и избежал ареста, воспользовавшись фальшивыми документами.После войны Бергер много путешествовал и вернулся в Германию в 1947 году.
Он работал в ФРГ режиссёром театра и радиоспектаклей, вновь преимущественно по Шекспиру. Одновременно он писал пьесы, сочинял прозу и работал над монографиями. Также добился успеха в работе над телевизионными спектаклями.Похоронен на Главном кладбище Майнца.