Ворсо родился в семье высокопоставленного датского чиновника. Первоначально изучал право; затем, после смерти отца, решил посвятить себя изучению первобытной истории. Был учеником Кристиана Ю.Томсена. После публикации первых исследований Й. Ворсо в 1848 году датский король Фредерик VII, увлекавшийся археологией, назначает его на должность инспектора по древностям.
С 1854 года Ворсо — профессор, с 1858 — куратор королевского собрания древностей. Ворсо в своё время был первым исследователем доисторического периода, получавшим за это жалованье.
В 1850 году Й. Ворсо становится членом специальной комиссии датского правительства, занимавшейся исследованием ракушечных пищевых останков в первобытных отложениях и занимался изучением первобытных стоянок человека на территории Дании. Его научные работы доказали, что гигантские курганы на севере Европы являются не местом культа либо принесения в жертву, а гробницами. Учёный ввёл в оборот понятие «эпоха викингов» . Ему первому также принадлежит разделение каменного века на палеолит и неолит[источник не указан 1355 дней] (это сделал Джон Лаббок).