В 1919-1924 годах Пауль Баумгартен обучался в Техническом университете Данцига, затем окончил Берлинский технический университет по специальности «архитектура» и работал в архитектурном бюро Мебеса и Эммериха в Берлине.
С 1928 года Баумгартен всё больше занимался самостоятельными заказами, открыл собственный офис и уже в 1932 году стал полностью независимым архитектором.Асбестоцементный домС 1934 по 1936 год Баумгартен руководит строительством мусоропогрузочной станции в Берлине.
С 1937 по 1945 год он работает директором Бюро строительных конструкций Philipp Holzmann AG , а с 1942 года, кроме того, является учителем в высшей школе искусства в Берлине. Баумгартен всемирно прославился строительством концертного зала высшей школы искусств 1953 года, где он был назначен профессором в 1952 году и восстановлением здания рейхстага. Большое внимание вызвало также его участие в строительстве так называемого Асбестоцементного дома в Берлине. Кроме того, известность получило и офисное здание Федерального Конституционного суда в Карлсруэ, построенное по проекту Баумгартена. Многие другие его разработки, в частности в строительстве жилья, были восприняты, наоборот, менее благожелательно.Иногда ошибочно считается, что Пауль Баумгартен был сыном архитектора Пауля Отто Августа Баумгартена (1873 года рождения), но на самом деле он с ним никак не связан.