Родился в семье деревенского пастора Людвига Брема, известного европейского орнитолога.
С раннего возраста под руководством отца принимал участие в естественно-научных и особенно зоологических наблюдениях и работах. Сначала Брем поступил в университет Альтенбурга на факультет архитектуры (1843), о чём К. Краузе в своём биографическом очерке о Бреме пишет: «Однако он не избрал себе этой карьеры. Не стал даже врачом или ученым-зоологом, как следовало бы ожидать…» . Однако в 1847 он отправился как натуралист в путешествие по Африке, после чего и началась его научная деятельность.