Отец — венгр, преподаватель литературы, мать — армянка. Участвовал в Первой мировой войне, затем учился в будапештской Академии художеств (1918—1919) и Академической высшей школе в Берлине (1921—1922).
В 1924 году поселился в Париже, в квартале Монпарнас, взял псевдоним по названию своего родного города («Brassai» дословно переводится как «из Брассо» ).Познакомился с Генри Миллером, Жаком Превером, Леоном-Полем Фаргом. Учил французский язык на книгах М. Пруста.