Баумгартнер родился 1793 года во Фридберге, в Богемии, изучал математические науки в Венском университете, где в 1823 году получил кафедру физики.
Он занимал её более десяти лет. За этот период своей учебной деятельности Баумгартнер напечатал ряд ценных работ по физике и другим отраслям естествознания: «Die Araometrie» (Вена, 1820);«Die Mechanik in ihrer Anwendung auf Kunste und Gewerbe» (2 изд., Вена, 1820);«Naturlehre» (Вена, 1823; 8-е изд., 1844—45);«Anfangsgrunde der Naturlehre» (Вена, 1837; 2-е изд., 1850);«Anleitung zur Heitzung der Dampfkessel» (Вена, 1841);«Unterricht in Tabakbau» (Вена, 1845).Кроме того, он редактировал вместе с Эттингаузеном журнал «Zeitschrift fur Physik und Mathematik» (10 т., Вена, 1826—31), который издавал потом один под заглавием «Zeitschrift fur Physik und verwandte Wissenschaften» (4 т., Вена, 1832—37), а впоследствии — вместе с Гольгером.
С 1833 г., когда болезнь горла заставила его отказаться от академической деятельности, Баумгартнер занимал важные посты на государственной службе, а в 1848 г. взял в кабинете Пиллерсдорфа портфель министра горного дела и общественных работ, но вышел в отставку, когда у кормила правления стал Добльгоф.
В 1851 г. он снова занял пост министра торговли, промышленности и общественных работ и в том же году стал министром финансов.
В 1855 г. он подал в отставку, сохранив лишь звание президента академии наук. Пожалованный ещё в 1854 г. в бароны, он в 1861 занял место в палате господ, председателем финансовой комиссии которой оставался до самой смерти, последовавшей в 1865 г. в Пенцинге, близ Вены.
В своем завещании Баумгартнер оставил академии наук капитал в 10 т. гульденов на учреждение премии его имени (Baumgartner-Preisstiftung) за лучшие сочинения по математике и естественным наукам.