Родился в баронской семье Гарденбергов (к которой принадлежал в числе прочих и романтик Новалис).
В 1791—1798 годы прусский управляющий (ранга министра) над маркграфствами Ансбах и Байрёйт на юге Германии.
В 1804—1806 годы и в 1807 году — член кабинета, министр иностранных дел Пруссии.После разгрома Пруссии в 1807 году в войне с наполеоновской Францией (1806—1807), в поданной на имя короля Фридриха Вильгельма III докладной записке настаивает на проведении срочных либерально-демократических реформ.
В 1810 году назначается государственным канцлером Пруссии, и на этой должности остаётся до самой смерти в 1822 году. Правительство, возглавляемое Гарденбергом, продолжило и углубило реформы фон Штейна: в 1811 году ввело свободу промышленной и ремесленной деятельности, упразднило цехи, частично отменило крепостную зависимость, разрешив крестьянам выкуп феодальных повинностей.
В 1812 году Гарденберг гарантировал отдельным декретом гражданское равноправие евреев в Пруссии. Принимал активное участие в работе Венского конгресса 1814—1815 годов и создании «Священного союза» .
В послевоенные годы правительство Гарденберга во внутренней политике делало ставку на укрепление союза с консервативными кругами прусского юнкерства, во внешней политике — на союз с монархиями Австрии и России.23 октября 1805 года был награждён орденом Св. Андрея Первозванного.
В берлинском районе Шарлоттенбург имя Гарденберга носит улица Гарденберг-штрассе и площадь Гарденберг-плац.