Получил домашнее образование в семье, жившей большей частью за границей.
В 1862 году окончил курс в Императорском Александровском лицее, где на него произвёл глубокое впечатление талантливый преподаватель французской словесности Помье, ученик Огюста Конта и друг Эмиля Литтре. Ещё лицеистом посещал лекции В. Л. Грубера в Медико-хирургической академии. По окончания лицея в течение двух лет слушал лекции на медицинском и естественном факультетах Московского университета.
В 1864 году получил степень кандидата естественных наук, после чего навсегда уехал за границу, возвращаясь в Россию лишь на короткое время.
В первое время пребывания за границей занимался медициной в Берлине и в Париже, много путешествовал, как в Европе, так и по Востоку.
В Париже близко сошелся с Эмилем Литтре, с вдовою Огюста Конта и с главнейшими позитивистами, в кругу которых в 1867 году возникла мысль основать периодический орган положительной философии.Первый номер журнала «Philosophie positive» появился 1 июля 1867 года под редакцией Литтре и Вырубова. Журнал издавался до 1884 года и послужил родоначальником множества печатных органов научной философии.
В 1873 году журнал Литтре и Вырубова получил почетный диплом на Всемирной выставке в Вене.Во время франко-прусской войны (1870—1871) принимал участие в защите Парижа как доброволец национальной гвардии, главным образом в походных лазаретах Красного креста.
В Русско-турецкую войну (1877—1878) отправился на Кавказ, где ему было поручено устройство походных лазаретов в Эриванском отряде, при котором он всё время состоял.Первые печатные работы появились в 1866 году. После прекращения издания «Philosophie positive» целиком переключился на научную деятельность. за свои работы получил права защищать в Сорбонне докторскую диссертацию (1886), не имея степени licencie — право, которое дается очень редко.
В 1889 году натурализовался во Франции (с разрешения русского правительства), состоял членом большинства парижских учёных обществ.
В 1891 году был президентом парижского минералогического общества. Сотрудничал во многих русских и иностранных газетах. Его фельетоны появлялись в «Санкт-петербургских ведомостях» В. Ф. Корша, а корреспонденции из Парижа — в газете «Порядок» .Был близок к А. И. Герцену, в 1875—1879 гг. издал его полное собрание сочинений.Философские, публицистические и критические сочинения Вырубова почти все написаны на французском языке и появились большею частью в его журнале. Собранные вместе, они составили бы несколько томов компактной печати.