Эрнст Эмиль Герцфельд родился 23 июля 1879 года в Целле в семье Джозефа Герцфельда и его жены Маргарет Розенталь.Учился в одной из старейших школ Германии — Domgymnasium Verden в Вердене и в Joachimsthalsches Gymnasium в Берлине. Провёл один год на военной службе. Получил учёную степень по архитектуре в Берлинском техническом университете. Посещал также курсы ассириологии и истории искусства в университетах Мюнхена и Берлина.
В 1903—1906 годах Герцфельд был помощником Вальтера Андре и Фридриха Делича в раскопках города Ашшур.Мировую известность приобрёл благодаря своим археологическим исследованиям в Самарре (1911—1913), Персеполе (1931—1934). Менее обширные раскопки проводил в Киликии и Пасаргадах.После прихода к власти нацистов в силу еврейского происхождения в 1935 году был вынужден покинуть академическую позицию в Берлинском университете.