Из дворянского рода Всеволжских, сын капитана 2-го ранга Андрея Петровича Всеволжского.
В службе с 1832 года, после окончания Морского кадетского корпуса произведён в мичманы с назначением обер-офицером на на Балтийский флот.
В 1844 году произведён в лейтенанты, в 1850 году в капитан-лейтенанты с назначением на Черноморский флот.
С 1853 года участник Крымской войны.
В 1856 году произведён в капитаны 2-го ранга.
В 1859 году произведён в капитаны 1-го ранга с назначением командиром Императорской яхты Штандарт.
С 1862 года капитан над Кронштадтским портом.
В 1868 году произведён в контр-адмиралы, в 1876 году в вице-адмиралы.
С 1878 года постоянный член, а с 1892 года председатель — Главного военно-морского суда Российской империи. Был награждён всеми орденами вплоть до ордена Святого Александра Невского пожалованного ему 1 января 1891 года.