Голдберг родился в Санта-Монике, штат Калифорния, и вырос возле Майами-Бич, в семье Донны (урождённая Гебель) и Эрла Голдбергов. Его отец еврей, а мать римская католичка, Адам имеет также ирландские, французские и немецкие корни. После просмотра школьной драматической постановки Шекспира Голдберг увлёкся шоу-бизнесом и начал изучать актёрское мастерство на различных семинарах в раннем возрасте.
Он активно участвовал в театральных постановках студенческого городка в период учёбы в колледже имени Сары Лоуренс (англ. Sarah Lawrence College).