Родился в семье виноторговца, выехавшего в Бордо по торговым делам. По материнской линии происходил из шотландской семьи, поэтому поступил в Университет Глазго, а затем продолжил образование по медицинской специальности в Эдинбурге.
В 1756 году стал профессором в Глазго, а с 1766 преподает в Эдинбурге. Кроме того, Джозеф Блэк является почётным членом Академии Наук в Петербурге с 1783 года, а также и в Париже — с 1789 года.
В 1754 году Блэк обнаружил, что при нагревании белой магнезии (углекислый магний) выделяется «связанный воздух» , то есть углекислый газ, и образуется жжёная магнезия (окись магния). Затем Блэк указывает на то, что обжиг известняка состоит в удалении «связанного воздуха» .
На основе этих экспериментов учёный сделал вывод, что различие между углекислыми и едкими щелочами заключается в том, что в состав первых входит углекислый газ.Открытие Блэком углекислого газа положило начало пневматической химии.
В 1757 Блэк ввёл понятие скрытой теплоты, открыв теплоту плавления и парообразования, хотя эти труды были опубликованы лишь в 1779.Затем, с 1759 по 1763, Блэк обнаружил различие между количеством теплоты и её температурой, ввёл понятие теплоёмкости.
В 1755 открыл, что магний — химический элемент.
В 1757 назначен Реймским (город на северо-востоке Франции) профессором практической медицины в Университете Глазго.
В 1761 заметил, что лёд при плавлении поглощает тепло, не увеличивая свою температуру. Из этого он заключил, что частицы тепла объединяются с частицами льда и становятся латентной (скрытой) теплотой.
С 1759 по 1763 он развил теорию латентной теплоты, а также показал, что различные вещества имеют различную латентную теплоту (удельную теплоту плавления). Джеймс Уатт был его учеником и помощником.Был членом Покерного клуба (the Poker Club) и был знаком с Дэвидом Хьюмом и Адамом Смитом.