Родился в семье садовода. Учился в традиционной еврейской школе, в 1915—1919 гг. — одновременно и в русской школе.
С 1920 г. — комсомольский активист; участвовал в работе самодеятельного драмкружка.
В 1924—1925 гг. перевел с азербайджанского на горско-еврейский язык пьесу Узеира Гаджибекова «Аршин мал алан» .
В 1925—1928 гг. учился на рабфаках Москвы и Баку. Окончил исторический факультет Бакинского педагогического института и Высшую партийную школу при ЦК ВКП(б).
С 1932 г. — в аппарате ЦК КП(б) Азербайджана.
В 1934—1938 гг. — редактор республиканской газеты «Коммунист» на горско-еврейском языке, одновременно — заместитель директора Государственного Азербайджанского государственного издательства (курировал издание всех книг на горско-еврейском языке).
С 1937 г. — кандидат в члены ЦК КП(б) Азербайджана.
С 1938 г. — 1-й секретарь Орджоникидзевского райкома партии, самого крупного нефтедобывающего района Республики.
В течение 1938—1939 гг. Орджоникидзевский район стал передовым нефтяным районом СССР; Я. М. Агарунов был награждён орденом Трудового Красного Знамени.
С 1939 г. — член ЦК КП(б) Азербайджана.
С 1941 г. — секретарь Бакинского горкома партии по нефтяной промышленности.
В первый же год войны нефтяники Баку дали стране 23,5 млн тонн нефти; за образцовое выполнение задания правительства Я. М. Агарунов был награждён орденом «Знак Почёта» .Осенью 1942 года в числе 5000 бакинских специалистов был направлен на освоение нефтяной целины в Куйбышевскую область, назначен секретарем Куйбышевского областного комитета КПСС по нефтяной промышленности.
В 1943 г. нефтяники Куйбышева увеличили добычу на 42 %, открыли и ввели в эксплуатацию новые нефтяные и газовые месторождения, построили первый в СССР дальний газопровод. За образцовое выполнение задания партии и правительства в условиях военного времени Я. М. Агарунов был награждён орденом Ленина. Министр нефтяной промышленности СССР Н. К. Байбаков назвал Я. Агарунова «одним из создателей отечественной нефтяной промышленности» .
В 1947—1950 гг. — секретарь Бакинского горкома партии.
В 1963—1971 гг. — заместитель директора Всесоюзного научно-исследовательского института по технике безопасности нефтяной промышленности.Неоднократно избирался членом ЦК КП(б) Азербайджана, депутатом Верховного Совета Азербайджанской ССР. Был делегатом многих партийных конференций и съездов, в том числе и делегатом XVIII съезда ВКП(б) (1939).После ухода на пенсию продолжал заниматься общественной и публицистической деятельностью, был членом Комитета Революционной славы Республики.СемьяСын Михаил (род. 1936) — профессор, химик, специалист по генеалогии горских евреев.Дочь Эльмира (род. 1940) — кандидат химических наук.