Родился в Багдаде, его отец иракец, а мать англичанка. Аль-Халили изучал физику в Университете Суррея.
Он получил степень бакалавра в 1986 году, а в 1989 — докторскую степень в области ядерной физики.
Он часто появляется на радио и телевидении, а также пишет статьи для британской прессы. Известность ему принесла передача «Атом» на канале BBC Four в 2007 году, посвященная истории изучения атома и ядерной физики.
В 2008 году он был пожалован в офицеры Ордена Британской Империи.
В декабре 2012 года Аль-Халили был избран директором Британской гуманистической ассоциации.Аль-Халили живёт в Саутси со своей женой и двумя детьми. О своих взглядах он писал, что несмотря на то, что его мать была протестанткой, а отец шиитом, сам он не религиозен.