Родилась в многодетной дворянской семье. Детство и юность провела в Екатеринославе. По материнской линии принадлежала к роду князей Долгоруковых, её родителями были Андрей Михайлович Фадеев (1789—1867), тайный советник, губернатор Саратова, и княжна Елена Павловна Долгорукая (в девичестве). Родная сестра Елены, Екатерина, была замужем за Юлием Федоровичем Витте (1814—1867), от брака с которым родился будущий российский государственный деятель, министр финансов России Сергей Юльевич Витте (1849—1915).Елена Ган приходилась родственницей по тёте, Анастасии Павловне Сушковой, поэтессе Евдокии Ростопчиной и двоюродной сестрой мемуаристке Екатерине Сушковой, приятельнице Лермонтова, с которым Ган общалась в её доме. «Его я знаю лично… Умная голова! Поэт, красноречив» , — писала она родным (см. Лермонтовскую энциклопедию). Её родственником по матери был известный поэт того времени Иван Михайлович Долгоруков, внук автора «Своеручных записок» Натальи Долгорукой и первый их издатель, а также поэт Ф. И. Тютчев.Замуж Елена вышла в 16-летнем возрасте за капитана Петра Алексеевича Гана (Peter Hahn von Rottenstern; 1798—1873), человека военного, почти вдвое старше её, происходившего из древнего рода прибалтийских немцев. Закончил Пажеский корпус в Петербурге, дослужился до звания полковника. Сын генерал-майора Алексея Августовича Гана (Axel Heinrich Hahn von Rottenstern, псевдоним Aleksej Gust) (около 1780-1815) и Елизаветы Максимовны, урождённой von Probsting, бывшей замужем вторым браком за генерал-майором Николаем Васильевичем Васильчиковым (Васильчиков 3-ий) (1781-1849), имевшей десять детей.
В 1831 году у Ганов родилась первая дочь Елена (Елена Блаватская), а в 1835 — вторая дочь Вера — будущая писательница Желиховская. Елена Ган вместе с маленькими детьми и мужем все это время путешествовала по Украине, побывала в Курске и в Туле. Весной 1836 года семья прибыла в Петербург, где проживет по май 1837 года, здесь Елена Ган увидела на выставке Пушкина, о чём написала родным: «Я узнала — Пушкина! Я воображала его чёрным брюнетом, а его волосы не темнее моих, длинные, взъерошенные… Маленький ростом, с заросшим лицом, он был не красив, если бы не глаза. Глаза блестят, как угли, и в беспрерывном движении. Я, разумеется, забыла картины, чтобы смотреть на него.
И он, кажется, это заметил: несколько раз, взглядывая на меня, улыбался… Видно, на лице моем изображались мои восторженные чувства» . Известно, что Пушкин во время южной ссылки бывал в кишиневском и одесском домах Фадеева.