Семья Вимаров иммигрировала в США, когда Карлу было 15 лет, и поселилась в городе Сент-Луис в штате Миссури.
В 1846 году Карл начал изучать живопись у Леона Помареда (Leon Pomarede), и вместе со своим учителем отправился в путешествие по реке Миссисипи.
В 1852 году он отправился учиться в Дюссельдорфскую академию художеств, где его наставником стал Эмануэль Лойце.