Старший из четырёх братьев, Ксаверий в молодости служил офицером в российской армии. Участвовал в военных действиях на Кавказе, где дослужился до чина подполковника и должности адъютанта генерал-фельдмаршала Ивана Фёдоровича Паскевича. Воспитанный матерью в патриотическом духе, он довольно рано вышел в отставку и в 1844 году покинул Россию во время пребывания императора Николая I Павловича в Лондоне. Вначале граф Браницкий отправился на лечение в Чехию, оттуда прибыл в Италию, где гостил у своей сестры, Софии, которая была замужем за принцем Ливием Одескальки, V князем Одескальки (1805—1885).
В конце концов Ксаверий Браницкий поселился во Франции.
На родину он уже никогда не вернулся. Длительное время проживал в Париже, а в 1849 году с помощью матери и через Виктора Окринского приобрел замок Монтрезор в Турени, в долине Луары, который нуждался в капитальном ремонте.
В течение десяти лет восстановлением замка занимал Домарадзкий, преданный Браницкому офицер Войска Польского. Граф Браницкий занимался экономикой и финансовыми операциями, в частности, способствовал строительству железной дороги из Киева в Одессу.
Он был одним из основателей, вместе с Людвиком Воловским существующего сегодня французского кредитного банка Credit Foncier в группе Caisse d"Epargne. Несмотря на все усилия царского правительства по экстрадиции из Франции, Браницкий получил французское гражданство в 1854 году. Свои владения в окрестностях замка Монтрезор[en] он превратил в образцово организованные и управляемые фермы. Тщательно отремонтировал свой замок с интерьеров в стиле Второй империи. Одновременно много сделал для города Монтрезор, где отстроил церковь, построил больницы, отдельные школы для девочек и мальчиков, новое кладбище.
В 1860 году жители Монтрезора избрали его на пост мэра города. Эту должность он занимал в течение десяти лет.
Карта сайта
