Из остзейских дворян лютеранского вероисповедания, сын генерала от кавалерии Николая Карловича фон Баумгартена.
В службу вступил 1 сентября 1866 года.
В 1872 году окончил Пажеский корпус, выпущен в Лейб-гвардии Гусарский полк корнетом — старшинство с 18 октября 1872 года. Поручик гвардии — старшинство с 19 февраля 1875 года, штабс-ротмистр — старшинство с 4 апреля 1876 года.Участник русско-турецкой войны 1877-78 гг. в составе полка. Ротмистр — старшинство с 17 апреля 1879 года, командовал эскадроном 4 года.
С 17 апреля 1883 года полковник — старшинство с 17 апреля 1883 года.
С 12 августа 1887 года по12 августа 1889 года состоял в распоряжении начальника Главного штаба, чиновник для поручений VII класса при начальнике Главного штаба с 12 августа 1889 года по 10 сентября 1890 года. 4 года и 4 месяца служил начальником кадра кавалерийского запаса. Командир 13-го Каргопольского драгунcкого полка с 17 ноября 1894 года по 25 ноября 1896 года.
В 25 ноября 1896 года за отличие произведён в генерал-майоры — старшинство с 19 июня 1897 года. Тогда же назначен командиром 1-й бригады 10-й кавалерийской дивизии, которой командовал до 28 ноября 1897 года. Командовал 3-й отдельной кавалерийской бригадой Сводной кавалерийской дивизии с 28 ноября 1897 по 10 февраля 1899 года.
В тот же день назначен командиром Лейб-гвардии Уланского Его Величества полка, которым командовал до выхода в запас 26 января 1904 года.
В запасе до 20 августа 1904 года, когда вернулся на службу с назначением командиром 1-й бригады Сибирской казачьей дивизии, которой командовал по 2 октября 1905 года. Участник русско-японской войны 1904—1905 гг.
В 1905 году за отличие произведён в генерал-лейтенанты со старшинством 7 февраля 1905 года. Начальник 2-й отдельной кавалерийской бригады со 2 октября 1905 года по 4 июля 1907 года. 9 мая 1907 года награждён золотым оружием «За храбрость» .
С 24 июля 1907 года — почётный опекун Московского присутствия Опекунского Совета учреждений Императрицы Марии.За отличие по службе 22 марта 1915 года получил звание генерала от кавалерии. Приказом от 4 мая 1917 года уволен от службы по болезни задним числом — с 19 апреля того же года.После Октябрьского переворота — в эмиграции во Франции. Скончался в городе Мерране в 1931 году.