Из курляндского дворянского рода. По окончании курса в Лейпцигском университете поступил 30 октября 1818 года на службу в Коллегию иностранных дел Российской империи, затем перевёлся под начало М. С. Воронцова в Одессу, где редактировал «Одесский вестник» . По утверждению соперничавшего с ним Ф. Вигеля, «всей Одессе был известен как продажная душа» .
В 1826 году принимал участие в переговорах с Турцией в Аккермане.
С 1828 г. руководитель дипломатической службы графа Ф. П. Палена, ведавшего всеми делами Дунайских княжеств.
В качестве его секретаря присутствовал в 1829 г. при подписании Адрианопольского мира. По сообщению Вигеля, «в Бухаресте был он пойман в грабеже, уличён, сознался и неизвестно как был спасён» .Выдвинулся как протеже вице-канцлера К. В. Нессельроде, который поручал ему составление дипломатических инструкций послам. По мнению современников, карьерным взлётом он был обязан своему красивому почерку и безупречному стилю при составлении дипломатических документов. «Писал очень чётко, очень редко исправлял написанное и при этом никогда не вычёркивал, а аккуратно выскабливал, и гордился своим искусством скоблить» .
В ноябре 1829 — марте 1830 управлял дипломатической канцелярией графа А. Ф. Орлова во время его чрезвычайной миссии в Константинополь.
С 1835 г. — старший советник МИД. Занимался также цензурными вопросами, добился закрытия прогрессивного журнала «Телеграф» . Существует малодоказательная версия, что именно Бруннов сочинил «диплом рогоносца» , послуживший причиной последней дуэли Пушкина..mw-parser-output .ts-Начало_цитаты-quote{float: none;padding: 0.25em 1em;border: thin solid #eaecf0}.mw-parser-output .ts-Начало_цитаты-source{margin: 1em 0 0 5%;font-size: 105%}.mw-parser-output .ts-Начало_цитаты-quote .ts-oq{margin: 0 -1em -0.25em}.mw-parser-output .ts-Начало_цитаты-quote .ts-oq .NavFrame{padding: 0}.mw-parser-output .ts-Начало_цитаты-quote .ts-oq .NavHead,.mw-parser-output .ts-Начало_цитаты-quote .ts-oq .NavContent{padding-left: 1.052632em;padding-right: 1.052632em}Бруннов изгибается перед всеми высшими. Я видел его в Ораниенбауме: он был посмешищем великих княгинь и фрейлин. Сказывают, что эту же роль играл он в Одессе при дворе Воронцова..mw-parser-output .ts-Конец_цитаты-source{margin: 0.357143em 2em 0 0;text-align: right}— князь П. А. ВяземскийБруннов в молодостиВ 1839—1840 гг. — посланник в королевстве Вюртемберг и герцогстве Гессен-Дармштадтском. Успешно провёл переговоры о браке цесаревича Александра Николаевича с гессенской принцессой. Пунктуально исполнял распоряжения начальства, чем заслужил благоволение самого императора.
С 1840 по 1854 г. барон Бруннов занимал должность чрезвычайного и полномочного посланника в Великобритании, с успехом вёл переговоры по поводу русско-турецкого Ункяр-Искелесийского договора 1833 г. Проект Бруннова лёг в основу Лондонской конвенции о Египте, подписанной в июне 1840 г. Принимал участие в выработке конвенции о Черноморских проливах 1841 г. 8/20 декабря 1841 г. Бруннов подписал многосторонний договор о запрещении торговли неграми.
В 1842 г. участвовал в заключении торгового договора между Россией и Великобританией, в 1843 г. — в работе Лондонской конференции по делам Греции.
В 1852 г. Бруннов поставил свою подпись под договором о неприкосновенности датской монархии и под договором о престолонаследии в греческом королевстве.
В 1855—1856 гг. был посланником при Германском союзе и в герцогстве Гессенском.
В 1856 году в качестве второго уполномоченного России вёл переговоры на Парижском конгрессе. За работу на конгрессе Александр II наградил Бруннова бриллиантовой табакеркой со своим портретом.
В день коронации императора Александра II 26 августа 1856 года получил чин действительного тайного советника.Карикатура из Vanity Fair (1870): «Наружность имел он неприятную, длинный стан его, все более вытягиваясь, оканчивался огромною, страшною челюстью» (Ф.Вигель).
В 1856—1857 гг. — временный представитель во Франции.
В 1857—1858 гг. — посланник в Пруссии и в герцогствах Мекленбург-Шверинском и Мекленбург-Стрелицком. Произвёл впечатление на Бисмарка отточенной стилистикой дипломатических протоколов.
С февраля 1858 г. — посланник, в 1860—1870 гг. — посол в Великобритании. Получал самое большое среди всех русских послов жалованье, и охотно угощал в здании посольства приезжавших в Лондон русских. Посетив один из таких обедов в 1864 году, князь В. П. Мещерский обнаружилтолстую и рослую фигуру, напоминающую неуклюжего бегемота, с большою головою, бритую, с лицом, ничего не выражающим, кроме полнейшего безучастия.
На обеде я познакомился с его женою в черных локонах, окаймлявших толстое, без всякого выражения лицо, и нашел её совершенно одинакового типа с мужем. Оба разговаривали, но я все время испытывал неприятное ощущение, что говорили по необходимости, без малейшего жизненного участия к лицу и предметам разговора. Мне казалось, что я провел два часа в обществе говорящих мумий.Фото 1872 годаВ 1863—1864 гг. был российским уполномоченным на Лондонских конференциях по вопросу о престолонаследии в Греческом королевстве и об условиях присоединения Ионийских островов к Греции, на конференции по шлезвиг-голштинскому вопросу 1864 г., а также на конференции по вопросу о Люксембурге 1867 г.
В 1870 г. был назначен послом во Франции, но к месту назначения не выезжал.
В 1870—1874 гг. — вновь посол в Великобритании.
В качестве уполномоченного России принимал участие в Лондонской конференции 1871 г., отменившей статьи Парижского мирного договора о «нейтрализации» Чёрного моря и приведшие к заключению Лондонской конвенции о проливах, за что Указом от 18 марта 1871 года был возведён в графское достоинство.
В последние годы жизни получал наибольшее среди всех чиновников Российской империи жалованье — 50 000 рублей в год (ближайшее по размеру жалованье канцлера А. М. Горчакова составляло 40 000 рублей).
В 1874 году уволился от службы и поселился в собственном особняке в Дармштадте, где и скончался.