Родился 8 июня 1899 года в Шарлоттенбурге. Внук известного немецкого врача Пауля Гравица.
В 1917 году вступил добровольцем в немецкую армию, попал в плен к британским войскам, в звании лейтенанта.После своего освобождения в 1919 году поступил в Берлинский университет имени Гумбольдта на медицинский факультет.
В 1929 году защитил диплом и начал работать ассистентом хирурга в одной из больниц Берлина.1 июля 1933 вступил в СС в чине штурмбаннфюрера.
В 1935 году Гиммлер назначил Гравица начальником медицинской службы СС и полиции. Под его непосредственным руководством и с его санкции проводились эксперименты над узниками концентрационных лагерей. Кроме того, курировал исследовательскую работу в различных институтах СС. Руководил Главным управлением немецкого Красного Креста.
В конце Второй мировой войны работал в бункере Гитлера. Узнав о приближении Красной Армии, ходатайствовал о переводе в другое место, но ему было отказано. После этого — 24 апреля 1945 года покончил с собой вместе со своими детьми и женой, взорвав всех двумя принесёнными с собой гранатами в своем доме.
Это событие было отражено в фильме «Бункер» .Во время Нюрнбергского процесса над врачами деятельность Гравица была оценена как преступная.