Гарнетт родился в Брайтоне.
Он происходил из английской писательской династии Гарнеттов: его отец Эдвард был писателем и редактором, дед Ричард — писателем и библиотекарем, мать Констанс — переводчицей русской литературы.Будучи антимилитаристом, Гарнетт не принимал участия в Первой мировой войне. Во время войны он работал на плодовых фермах.
Он стал участником литературного объединения «Блумсбери» , куда входили также Вирджиния Вулф, Артур Уэйли, Литтон Стрейчи и другие известные писатели. Известность пришла к нему после выхода романа «Женщина-лисица» («Lady Into Fox» ), который в 1922 году получил премию Тейта. Гарнетт и Фрэнсис Биррелл владели книжным магазином возле Британского музея. Совместно с поэтом Фрэнсисом Мейнеллом он основал издательство Nonesuch Press. По его роману «Аспекты любви» («Aspects of Love» ) Эндрю Ллойд-Уэббер в 1989 году написал мюзикл.Гарнетт был дважды женат — на художнице Рэйчел Маршалл и на Анжелике Грант, дочери его друзей Ванессы Белл и Дункана Гранта.
Он присутствовал при рождении Анжелики и женился на ней через двадцать лет. От двух браков у Гарнетта было шестеро детей.
В молодости жил в гомосексуальной связи с художником Дунканом Грантом[источник не указан 2956 дней].После расставания с Анжеликой Гарнетт переехал во Францию и жил в Шато де Шарри.