Выходец из местной знатной семьи, которая удерживала государственные посты в регионе в течение многих столетий; многие из его предков и родственников были судьями. Получил образование Соединенных Штатах, в 1962 г. ему была присвоено степень бакалавра наук в области сельского хозяйства Университета Джорджии и магистра наук в области сельского хозяйства того же университета в 1964 г., затем — степень доктора философии в биохимической генетики Йельского университета в 1968 г.
До объединения Йемена находился на министерских должностях в правительстве Йеменской Арабской Республики: 1974—1976 гг. — министр развития,1976—1978 гг. — министр образования,1984—1990 гг. — министр иностранных дел.
С 1980 по 1982 гг. занимал должность премьер-министра Йеменской Арабской Республики.После объединения Йемена в 1990 г. продолжил занимать ключевые должности в руководстве страны: 1990—1993 гг. — министр иностранных дел,1993 г. — министр развития,1994—1998 гг. — министр иностранных дел.
В 1998—2001 гг. — премьер-министр Йемена.Был членом Фонда Глобального лидерства, некоммерческой организации, созданной в 2004 г. бывшим президентом ЮАР Фредериком де Клерком для поддержки надлежащего управления и сокращения числа конфликтов во всем мире. Ему приписывают участие в посредничестве в организации мирных переговоров в 2012 г;, в результате которых президент Салех ушел в отставку.