Диб родился в Тлемсене, западный Алжир, около границы с Марокко, в обедневшей семье среднего класса. После потери отца, Диб в 15 лет начал писать стихи.
В 18 лет он начал работать учителем в соседнем городе Уджда, Марокко.
В 1920—1930-е годы работал ткачом, учителем, бухгалтером, переводчиком (для французских и британских военных), а также журналистом в «Alger Republicain» и коммунистической газете «Liberte» .
В течение этого периода он также изучал литературу в Алжирском университете.
В 1952, за два года до Алжирской революции, он женился на француженке, вступил в Алжирскую коммунистическую партию и посетил Францию.
В том же самом году он издал свой первый роман «La Grande Maison» («Большой Дом» ).
В 1959 году он был выслан из Алжира французскими властями за поддержку независимости Алжира, а также в связи с успехом его романов (в которых описывалась непростая жизнь алжирцев под гнётом французов). Вместо переезда в Каир по примеру многих алжирских националистов ему помогли остаться во Франции.
С 1967 он жил в Ла-Сель-Сен-Клу вблизи Парижа.
С 1976—1977 Диб работал преподавателем в Калифорнийском университете Лос-Анджелеса. Был профессором в Сорбонне и в Московском государственном университете.
В последующие годы он часто посещал Финляндию, где написал несколько своих поздних романов. Умер в Ла-Сель-Сен-Клу 2 мая 2003.