Из образованной, обеспеченной семьи, отец — крупный землевладелец и фабрикант в Бирмингеме, мать — из аристократического рода. Генри учился в Итоне, где его однокашником был Энтони Поуэлл, а затем в Кембридже, не закончил обучение, но сблизился там с Ивлином Во.
В годы учёбы входил в группу золотой молодежи, к которой, кроме перечисленных, принадлежали Нэнси Митфорд, Джон Бетчеман, Сесил Битон. Многие годы — параллельно писательству — был занят в семейном бизнесе, начав на фабрике простым рабочим и дослужившись до директора по менеджменту.
В годы Второй мировой служил в пожарной команде. Два последних десятилетия жизни почти не писал, увлекся историей Османской империи, у него развилась склонность к затворничеству и алкоголю.