Родился в Москве в семье энтузиаста народного просвещения и переводчика Николая Михайловича Горбова и Софьи Николаевны Горбовой (урожд. Масловой), оставившей прекрасные семейные воспоминания. Семья долгое время жила в Хамовниках, во Власьевском переулке.
С детства был знаком с Анастасией Цветаевой, которая оставила о нём воспоминания.
В Петербурге закончил Николаевское военное училище. Братья Горбовы участвовали в Первой мировой войне. Яков служил в автомобильных войсках, младший брат Михаил в конной артиллерии. Старший Сергей погиб в 1915 г. Во время Гражданской войны Яков и Михаил служили в Добровольческой армии.После поражения белогвардейцев в Крыму семья эмигрировала в Германию, затем обосновалась в Париже. Я. Н. Горбов закончил Высшую текстильную школу и Католический институт. Работал шофёром, одновременно писал стихи и прозу, но долго не издавался. Вступил добровольцем во французскую армию, в 1940 г. отправился на фронт, был ранен, награждён Военным Крестом.
В 1963 г. познакомился с поэтессой Ириной Одоевцевой, в 1978 г. вступил с ней в брак.
В сентябре 1982 г. скончался. Похоронен в Париже на кладбище в коммуне Шелль рядом со своей первой женой Верой Иснар (18961977).