Предки чернокожего Моцарта по отцовской линии, нидерландские протестанты, поселились в Вест-Индии в 1645 году. Сам он — сын французского плантатора и его чернокожей рабыни, иначе говоря — родился рабом. После ложного обвинения в убийстве его отец был вынужден в 1747 году с женой и сыном бежать во Францию, где был через два года по ходатайству брата, советника короля Пьера де Болонь, прощён королём и смог вернуться на Гваделупу.
В 1753 году он навсегда отослал сына в Париж, в 1757 году получил аристократический титул.Жозеф сделал одновременно военную и музыкальную карьеру. Отличался статью (имел рост 1 м 80 см).
С тринадцати лет изучал фехтовальное искусство у известного фехтовальщика Николя Тексье де ла Боэссьера, также обучался верховой езде, литературе, игре на скрипке и клавесине.
В 1761 году был принят в королевскую жандармерию. Учился музыке у Жана-Мари Леклера. Вероятно, на него оказал влияние и Гавинье.
В 1763 году он купил себе место советника короля и рыцарское звание. Для него, скрипача-виртуоза, писали музыку Антонио Лолли, Карл Стамиц, Франсуа-Жозеф Госсек, он концертировал в Англии и Франции.
В 1769 году он стал членом созданного Госсеком оркестра Concert des Amateurs, а вскоре и его дирижёром.
В журнале Музыкальный альманах (1775) оркестр был назван лучшим в Париже, а может быть, и в Европе. Затем он возглавил оркестр масонской Олимпийской ложи (он был одним из первых чернокожих масонов во Франции). Оркестр заказал Гайдну шесть симфоний (так называемые Парижские симфонии, 1785—1786) и — под управлением шевалье де Сен-Жоржа — стал их первым исполнителем.
На премьере присутствовала Мария-Антуанетта, ей больше других понравилась 85-я симфония, которая получила поэтому название Королева. Людовик XVI собирался назначить шевалье де Сен-Жоржа директором Королевской оперы, но назначение не состоялось из-за протеста нескольких артисток (в частности, Софи Арну и Мари-Мадлен Гимар), считавших ниже своего достоинства служить под руководством мулата; так излагает эту историю барон Фредерик Мельхиор фон Гримм в своей Переписке.Шарль Жан Робино. Портрет шевалье де Сен-Жоржа, 1787Отстранённый от музыки, шевалье отдал все силы искусству фехтования и стяжал славу как блестящий боец. Известна его схватка с легендарным шевалье д"Эоном в присутствии принца Уэльского, будущего короля Георга IV (1787). Был первым чернокожим полковником французской армии (1792). Воевал с австрийцами. Под его началом служил Тома-Александр Дюма, так же мулат, отец будущего автора Трех мушкетёров. После Революции был за близость к королевскому двору разжалован, арестован (1793), около года провел в тюрьмах Шантийи и Онденвиля (департамент Уаза).
С 1797 года руководил оркестром Кружок Гармонии.Дуэль шевалье де Сен-Жоржа и шевалье д"Эона 9.4.1787. Офорт Гослена