Рухулла Ахундов родился 1 (13) января 1897 года селении Шувеляны в семье учителя. Окончил медресе, реальное училище, торговую школу, владел несколькими восточными и западными языками.
С 1916 года Ахундов работал в типографии.
В 1917 году — член группы азербайджанских «левых» эсеров.
В 1918 году редактор газеты «Известия» Бакинского совета, а в 1919 — азербайджанской нелегальной большевистской газеты «Коммунист» .
В том же году вступает в Коммунистическую партию. После окончательного установления Советской власти в Азербайджане он становится заведующим отделом по работе в деревнях ЦК КП (б) Азербайджанской ССР, затем секретарь Бакинского комитета партии, редактор газеты «Коммунист» и других периодических изданий.
В период с 1924 по 1930 годы Ахундов секретарь ЦК КП (б) Азербайджанской ССР, директор Азернешара (государственное книжное издательство), нарком просвещения Азербайджанской ССР. Подвергся критике как участник "право-левацкого блока". Выступил с признанием ошибок.
В 1930 Рухулла Ахундов был избран секретарём Закавказского краевого комитета ВКП(б). Делегат 10—17-го съездов партии, 2-го конгресса Коминтерна. Последние годы жизни он работал в Институте истории партии при ЦК КП(б) Азербайджана, начальником управления по делам искусств при СНК Азербайджанской ССР, участвовал в организации и руководстве Азербайджанского филиала Академии наук СССР. Один из первых переводчиков на азербайджанский язык произведений Карла Маркса, Фридриха Энгельса и Ленина. Автор ряда работ по истории, искусству, литературе, редактор двухтомного русско-азербайджанского словаря (1928—29).
В 1930-х годах входил в редколлегию журнала «Революция и национальности» .
В декабре 1936 года Ахундов был снят со всех должностей, исключён из партии и арестован. Военной коллегией Верховного суда приговорен к смертной казни. Расстрелян и похоронен на секретном полигоне НКВД «Коммунарка — Лоза» 21 апреля 1938 года. Посмертно реабилитирован и восстановлен в партии в 1959 году.Был критикован Владимиром Маяковским в стихотворении «Помпадур» , в эпиграфе которого поэт приводит цитату из газеты «Правда» , № 111/3943: Член ЦИКа тов. Рухула Алы Оглы Ахундов ударил по лицу пассажира в вагоне-ресторане поезда Москва — Харьков за то, что пассажир отказался закрыть занавеску у окна. При составлении дознания тов. Ахундов выложил свой циковский билет.Жена — Фрида Наумовна Шлёмова, после смерти мужа дважды арестовывалась НКВД.