Он родился в 1796 году в Крапивенском уезде Тульского наместничества.
В 1818 году окончил Московский университет.
До 1820 года состоял на службе в Департаменте народного просвещения.
С 1820 года — директор и попечитель Тульской гимназии, а в 1823—1835 годах был директором различных училищ Тульской губернии. Отличался «либеральным направлением» в развитии народного образования. Сумел сохранить две ланкастерские школы после повсеместного их запрещения в 1826 году — единственные по Московскому учебному округу, куда входила и Тульская губерния. Дата и место его смерти неизвестны.Владелец 61 души крестьян в селе Сретенском Ефремовского уезда Тульской губернии. Тут он устроил конезавод.Е. Н. Воронцов-Вельяминов входил в список почетных и действительных членов-соревнователей Лебедянского скакового общества.
В 1845—1846 годах в городе Лебедяни Тамбовской губернии в скачках участвовали его темно-гнедая кобыла Ракета и рыжий жеребец Червончик, выигравший на разных дистанциях три Императорских приза. Был известен как масон и литератор. Являлся членом Общества истории и древностей российских при Московском университете. Две страсти жили в душе графа Евграфа Николаевича: лошади и Древний Египет.