Ранние годыГиббс родился 11 февраля 1839 года в городе Нью-Хейвен, штат Коннектикут. Его отец, профессор духовной литературы в Йельской богословской школе (впоследствии вошедшей в состав Йельского университета), был известен в связи с его участием в судебном процессе, называвшемся Amistad. Хотя отца тоже звали Джозайя Уиллард, с именем сына никогда не употребляли «младший» : кроме того, пять других членов семьи носили то же имя. Дед по материнской линии также был выпускником Йельского университета в области литературы.После обучения в Хопкинс-школе, в возрасте 15 лет Гиббс поступил в Йельский колледж.
В 1858 г. он окончил колледж в числе лучших в своем классе и был премирован за успехи в математике и латыни.Годы зрелостиВ 1863 г. по решению Шеффилдской научной школы (англ.) в Йеле Гиббс был удостоен первой в США степени доктора философии (PhD) по техническим наукам за диссертацию «О форме зубцов колёс для зубчатой передачи» . Последующие годы он преподавал в Йеле: два года вёл латынь и ещё год — то, что впоследствии было названо натурфилософией и сравнимо с современным понятием «естественные науки» .
В 1866 г. он уехал в Европу для продолжения учёбы, проводя по одному году в Париже, Берлине и затем — в Гейдельберге, где он встречает Кирхгофа и Гельмгольца.
В то время немецкие учёные были ведущими авторитетами в химии, термодинамике и фундаментальных естественных науках. Эти три года, собственно, и составляют ту часть жизни учёного, которую он провёл за пределами Нью-Хейвена.
В 1869 г. он вернулся в Йель, где в 1871 г. был назначен профессором математической физики (это была первая подобная должность в Соединённых Штатах) и занимал этот пост всю оставшуюся жизнь.Позиция профессора была поначалу неоплачиваемой — ситуация, типичная для того времени (особенно для Германии), и Гиббс должен был публиковать свои статьи.
В 1876—1878 гг. он пишет ряд статей по анализу многофазных химических систем графическим методом. Позже они были изданы в монографии «О равновесии гетерогенных веществ» (On the Equilibrium of Heterogeneous Substances), наиболее известной его работе. Этот труд Гиббса рассматривается как одно из величайших научных достижений XIX века и одна из фундаментальных работ по физической химии.
В своих статьях Гиббс применил термодинамику для объяснения физико-химических явлений, связав то, что ранее было набором отдельных фактов.«Общепризнано, что издание этой монографии было событием первостепенной важности в истории химической науки. Тем не менее, потребовалось несколько лет, прежде чем было до конца осознанно её значение; задержка была главным образом обусловлена тем, что используемая математическая форма и строгие дедуктивные приёмы делают чтение трудным для любого, и особенно для студентов в области экспериментальной химии, к которым это имело наибольшее отношение…» Важнейшие разделы, освещённые в других его статьях о гетерогенных равновесиях, включают: Концепции химического потенциала и свободной энергииМодель ансамбля Гиббса, основу статистической механикиПравило фаз ГиббсаГиббс публиковал и работы по теоретической термодинамике.
В 1873 г. вышла его статья о геометрическом представлении термодинамических величин. Эта работа вдохновила Максвелла изготовить пластиковую модель (так называемую термодинамическую поверхность Максвелла), иллюстрирующую гиббсовский конструкт. Модель была впоследствии отослана Гиббсу и в настоящее время хранится при Йельском университете.Поздние годыВ 1880 г. вновь открывшийся Университет Джонса Хопкинса в Балтиморе, штат Мэриленд, предложил Гиббсу позицию за 3 тыс. долларов, на что Йель ответил увеличением жалованья до 2 тыс. долларов.
Но Гиббс не оставил Нью-Хейвен.
С 1879 по 1884 гг. он объединяет идеи двух математиков — Уильяма Гамильтона с его «теорией кватернионов» и Германа Грассмана с его «внешней алгеброй» — и создаёт (независимо от британского физика и инженера Оливера Хевисайда) векторный анализ; курс векторного анализа Гиббс сначала читает в Йельском университете, а в 1884 г. издаёт отдельной книгой.
В 1884—89 гг. Гиббс вносит усовершенствования в векторный анализ, пишет труды по оптике, развивает новую электрическую теорию света.
Он намеренно избегает теоретизирования касательно строения вещества, что было мудрым решением ввиду последовавших революционных событий в физике субатомных частиц и квантовой механике. Его химическая термодинамика была вещью более универсальной, чем любая другая существовавшая в то время химическая теория.После 1889 г. он продолжает работу над статистической термодинамикой, «оснащая квантовую механику и теории Максвелла математическим каркасом» .
Он пишет классические учебники по статистической термодинамике, которые выходят в 1902 г. Гиббс внёс также вклад в кристаллографию и применил свой векторный метод к расчёту планетарных и кометных орбит.Об именах и карьере его студентов известно немногое. Гиббс никогда не был женат и всю жизнь прожил в отцовском доме вместе с сестрой и зятем, библиотекарем в Йеле.
Он был настолько сконцентрирован на науке, что был, как правило, недоступен для личных интересов. Американский математик Эдвин Бидуэлл Уилсон (англ.) рассказывал: «Вне стен учебной аудитории я видел его крайне мало. У него была привычка пойти прогуляться после полудня по улочкам между его кабинетом в старой лаборатории и домом — небольшая зарядка в перерыве между работой и обедом — и тогда можно было иногда встретить его» . Гиббс умер в Нью-Хейвене и похоронен на кладбище Гроув-стрит.