Джо Андерсон родился в Англии в семье малоизвестных актёров Майлза Андерсона и Лесли Дафф. Отец рекомендовал сыну не идти по его стопам, а найти работу со стабильным доходом, например, гробовщиком. Андерсон учился в колледже Ричмонда-на-Темзе. После окончания школы он занимался альпинизмом, изучал фотографию и хотел стать режиссёром, но на обучение у него не хватило денег, поэтому он обучался актёрском ремеслу в Академии драматических искусств Уэббера-Дугласа. Свой выбор профессии Андерсон в одном из интервью объяснил дислексией.Актёрскую карьеру Андерсон начал в середине 2000-х годов. Первые роли играл он в Чичестерском театре, затем начал сниматься в фильмах и телесериалах. Прорыв Андерсона пришёлся на 2007 год, в котором вышел мюзикл «Через Вселенную» , где Джо исполнил одну из главных ролей.
В фильме Андерсон исполнил несколько песен The Beatles, хотя по собственным словам не имел значительного музыкального опыта и на роль приглашался режиссёром Джулией Теймор именно как актёр, а не певец. Андерсон также сыграл значительные роли в других фильмах 2007 года, «Контроль» (Питера Хука, басиста рок-группы Joy Division) и «Джейн Остин» (Генри, старшего брата писательницы Джейн Остин). Актёр снялся ещё в одном фильме на музыкальную тематику, вновь исполнив роль басиста в картине 2008 года «Клуб 27» .Андерсону сыграл одну из ведущих ролей, помощника шерифа, в фильме ужасов «Безумцы» , вышедшем на экраны в 2010 году и являющимся ремейком картины «Сумасшедшие» , снятой Джорджем Ромеро в 1973 году.
В 2012 году вышло два кассовых американских фильма с участием Андерсона: «Схватка» и «Сумерки. Сага: Рассвет — Часть 2» . Также Джо получил одну из главных ролей в телевизионном сериале «Река» , рассказывающем о поисках человека в Амазонии, однако канал ABC принял решение свернуть производство сериала после выхода восьми серий.