Родился в семье известного адвоката Филиппа Гримма. Вместе с братом являлся членом кружка гейдельбергских романтиков, ставивших целью возрождение общественного и научного интереса к народной культуре Германии и её фольклору.Опубликованные братьями Гримм книги по истории и грамматике немецкого языка, на фоне многочисленных диалектов последнего, явились стимулом к оформлению германистики и лингвистики в самостоятельную научную дисциплину.Основоположник мифологической школы в фольклористике (книга «Немецкая мифология» , 1835 год).Вместе с братом составил знаменитое собрание немецких сказок. Главный труд жизни братьев Гримм — «Немецкий словарь» (нем. Deutsches Worterbuch); вопреки названию, это фактически сравнительно-исторический словарь всех германских языков. Авторы успели довести его только до буквы «F» , завершён он был лишь в 1970-е годы.
В 1864 году в журнале А. А. Хованского «Филологические записки» была опубликована «История немецкого языка» Якова Гримма, первый перевод его трудов на русский язык.Умер Якоб Гримм от инсульта 20 сентября 1863 года.