Родился в семье парижского чиновника, близкой к артистическим кругам: мать Эжена устраивала богемные салоны, дядя по матери — известный художник Эжен Делеклюз.
В 1830 году, во время Июльской революции, Эжен Эмманюэль оказался на баррикадах, а затем отказался поступать в престижное училище изящных искусств, предпочитая практическую работу учеником в архитектурной фирме Ашиля Леклера.После поездки в Италию (1836—1837), в 1840 году принял предложение Проспера Мериме (в то время — государственного инспектора по историческим памятникам) заняться реставрацией средневекового романского аббатства св. Марии Магдалины в Везле. За этим последовали сорок лет активной реставраторской работы.
С 1853 года Виолле-ле-Дюк — генеральный инспектор церковных построек Франции. Как самостоятельный архитектор он спроектировал и построил три церкви (в Каркассоне, Д"Эстре и Сен-Айян-сюр-Толон), а также памятник Наполеону и его братьям в Аяччо.
В 1874 году Виолле-ле-Дюк был вынужден покинуть пост по обвинению в «вольнодумстве» и ушёл в политику, был избран в парижский муниципалитет.