Жан-Жак был единственным сыном известного физика Андре Мари Ампера. Образование получил в Париже, затем путешествовал по Италии, Германии и Скандинавии, где изучал народные песни и поэзию. Вернувшись во Францию в 1829 году, Ампер стал читать в Марселе публичные лекции по истории литературы.
В 1830 году издал сборник скандинавской и германской поэзии, ставший первым для французской публики знакомством со скандинавской и ранней германской поэзией.Переехав в Париж, Ампер стал преподавать в Сорбонне и получил место профессора истории французской литературы в Коллеж де Франс. Также Ампер занимал должность куратора Библиотеки Мазарини, являлся членом Французской академии изящной словесности (с 1842) и Французской академии (с 1848).
В 1841 году Ампер побывал в Северной Африке, а затем в Греции и Италии в компании друзей, в том числе Проспера Мериме. По результатам этого путешествия Ампер издал в 1848 году труд «Греция, Рим и Данте» (Grece, Rome et Dante), вызвавший во Франции значительный интерес к творчеству Данте.
В 1851 году Ампер побывал в Америке.
С этого времени и до своей смерти он работал над монументальным трудом «L"Histoire romaine a Rome» , также издал сборник своих стихов. Все сочинения Ампера отличаются здравой критикой, обширной эрудицией и ясным, привлекательным изложением. Один из авторов термина «Каролингское возрождение» .