Чарльз Виргман был сыном Фердинанда Чарльза Виргмана (1806-57) и братом художника Теодора Блейка Виргмана (англ. Theodore Blake Wirgman). Титульная страница июльского издания «Japan Punch» , 1878Чарльз Виргман прибыл в Японию в 1861 году как корреспондент газеты «The Illustrated London News» , он жил в Иокогаме с 1861 года до самой смерти. The Japan Punch издавался ежемесячно с 1862 по 1887 год в юмористическо-сатирической форме и содержал иллюстрации Чарльза Виргмана.Победа Японии над Китаем в «Japan Punch» , сентябрь 1894Виргман, вместе с британским фотографом Феликсом Беато, организовал фирму «Beato & Wirgman, Artists and Photographers» , существовавшую с 1864 по 1867 годы.
С 1866 года с Феликса Беато очень часто рисовали карикатуры в журнале The Japan Punch, основанном Виргманом. Иллюстрации Чарльза Виргмана для газеты The Illustrated London News часто основывались на фотографиях Феликса Беато, сделанных по пути.Виргман учил западному стилю рисования японских художников, в том числе художника укиё-э Кобаяси Корэтику.
В 1860-е годы он сопровождал британского дипломатического представителя Эрнеста Сатоу (англ. Ernest Satow) в поездках по Японии, как описано в работе Сатоу «Diplomat in Japan» .Могила Виргмана находится в иностранном кладбище в Иокогаме.