Ранние годыГенри Хартманн Вирц родился 25 ноября 1823 года в Цюрихе, Швейцария.
В семье Ганса Каспара Вирца и Сабины Барбары Филипп. Вирц получил школьное и средние образование.
Он хотел стать врачом, но его семья не располагала достаточными средствами для оплаты его медицинского образования, поэтому Вирц начал работать в сфере торговли в Цюрихе и Турине.
В 1845 году Генри Вирц женился на Эмилии Освальд. Детей у пары не родилось.
В апреле 1847 года Вирц был приговорен к 4 годам лишения свободы так как не смог отдать крупный долг, заимствованный им на развитие своего бизнеса. Однако через полгода приговор был смягчен, и заменен 12-летней высылкой семьи Вирцев из страны. Однако его жена отказалась от высылки и осталась в Швейцарии оформив развод с Генри Вирцем в 1853 году.
В 1848 году Генри Вирц эмигрировал в Российскую империю, но уже через год прибыл в США. Ему удалось найти работу на заводе в городе Лоуренс, штат Массачусетс, где он работал в течение пяти лет. Однако в 1854 году Вирц переехал в Хопкинсвилл, штат Кентукки, где он начал работать помощником врача. Вирц предпринял несколько попыток получить лицензию дающую ему право заниматься медицинской деятельностью самостоятельно, но всякий раз ему отказывали в этом из-за недостаточной квалификации.
В 1854 году Вирц женился на Эльзабет Вульф (1824 — 1871) вдове имевшей двух дочерей от первого брака. После чего Вирц и его новая семья перебрались в Луизиану, где в 1855 году Элизабет родила Вирцу дочь Кору (1855—1928). После чего Генри Вирц устроился работать надсмотрщиком за рабами на богатую плантацию банкира и бизнесмена Левина Маршелла, где и проработал до начала войны.
В 1859 году родилась вторая дочь Ида Вирц.