Родился в еврейской семье.
В 1941 году поступил в Московский художественный институт.Участник Великой Отечественной войны. Призван в октябре 1942 года в действующую армию, переводчик. Окончил войну в Болгарии. Демобилизовался в звании старшего сержанта.Окончил Московский художественный институт (1951). Примыкал к «неофициальному искусству» , продолжая традиции символизма. Дважды (1962 и 1968) исключался из Союза художников за резкую критику официальной культурной политики. Исключался из КПСС.Был одним из участников «Выставки семи» (1962, Ленинград), обозначившей рубежи «сурового стиля» . Жил в Москве.Создал индивидуальный, очень узнаваемый по колористике стиль портретной живописи, изображая преимущественно представителей либеральной творческой интеллигенции: среди героев Биргера — Булат Окуджава, Надежда Мандельштам, Юлий Даниэль, Андрей Сахаров и Елена Боннэр и др. Биргеру принадлежит единственный прижизненный портрет Варлама Шаламова (1967, ныне в Вологодской картинной галерее), ответившего художнику стихотворением «Живопись» . По словам композитора Эдисона Денисова, также посвятившего Биргеру сочинение под названием «Живопись» (1980),«Борис в некоторых своих картинах достигает тоже почти пушкинской чистоты» ..mw-parser-output .ts-Конец_цитаты-source{margin: 0.357143em 2em 0 0;text-align: right}.mw-parser-output .ts-Начало_цитаты-quote{float: none;padding: 0.25em 1em;border: thin solid #eaecf0}.mw-parser-output .ts-Начало_цитаты-source{margin: 1em 0 0 5%;font-size: 105%}.mw-parser-output .ts-Начало_цитаты-quote .ts-oq{margin: 0 -1em -0.25em}.mw-parser-output .ts-Начало_цитаты-quote .ts-oq .NavFrame{padding: 0}.mw-parser-output .ts-Начало_цитаты-quote .ts-oq .NavHead,.mw-parser-output .ts-Начало_цитаты-quote .ts-oq .NavContent{padding-left: 1.052632em;padding-right: 1.052632em}Писатель Владимир Войнович заметил о Биргере, что,«…как истинный художник, он жил по своим законам и сам был своим высшим судом. Друзья его были в этом суде кем-то вроде присяжных, будучи ещё и его моделями.» В круг друзей Биргера входили также актёры Алла Демидова и Игорь Кваша, писатель Фазиль Искандер, поэт Олег Чухонцев, литературовед Валентин Непомнящий.
С 1970-х годов Биргер получил известность за рубежом, прежде всего в Германии (каталог его первой — несостоявшейся — немецкой выставки вышел в 1975 в Анн-Арборе (США) с предисловием Г.Бёлля).Дружил с четой Сахаровых. Встречал Андрея Сахарова из ссылки.
С 1990 г. жил в Германии в посёлке Роландзек (в составе города Ремаген).Похоронен на Перловском кладбище в Москве.