Его отец, Галлус Баумгартнер, был видным государственным деятелем.
В четырнадцать лет Александр поступил учиться в школу при аббатстве Maria Einsiedeln. Там он находился под влиянием известного поэта и учёного Галля Мореля. После сдачи экзаменов в 1860 году Баумгартнер поступил в Society of Jesus. После обучения в 1874 году он был принят в редакцию периодического издательства Stimmen aus Maria-Laach, которое было основано за три года до этого.
Он писал для журнала в течение тридцати шести лет.
В 1883 году Александр посетил в Исландию, Фарерские острова, Скандинавию. Три года спустя он посетил Данию, Швецию и Норвегию. Оба тура были запечатлены в его книгах Nordische Fahrten (1889 и 1890 годы).
Он был похоронен на кладбище в Люксембурге возле своего старого друга и земляка Джосефа Спиллмена.