Родился в Берлине, юность провёл в Темплине и Франкфурте, где учился игре на флейте и фортепиано. Позже изучал теорию композиции под руководством Августина Гюрлиха в Берлине, а в 1804 г. стал учеником композитора Муцио Клементи, который предложил ему сопутствовать в его путешествии в Петербург. Жил в России в течение восьми лет. Здесь, наряду с Д. Филдом и Д. Штейбельтом, Бергер обратил на себя внимание своей игрой на фортепиано. Женился в России, но через год овдовел. Во время войны 1812 года покинул Россию, посетил Стокгольм и Лондон, где его фортепианные выступления были хорошо приняты публикой, и в 1815 г. вернулся в Берлин, где до самой своей смерти занимался преподаванием, к числу его учеников принадлежали Ф. Мендельсон, В. Тауберт, А. Гензельт, Г. Дорн и А. В. Бах.Умер в Берлине в 1839 году.