Виктор Быстров родился 16 марта 1931 года в Мытищах. Активно заниматься боксом начал в раннем детстве, проходил подготовку в спортивной секции Мытищинского машиностроительного завода под руководством тренера Николая Карцева. Позже присоединился к московскому спортивному обществу «Буревестник» и продолжил подготовку у тренера Георгия Джерояна.
В бою преимущественно использовал игровой стиль, предпочитал действовать на дальней дистанции. Обладая хорошими реакцией и подвижностью, успевал нанести сопернику удар, парировать его атаку и успешно контратаковать.Первого серьёзного успеха на ринге добился в 1955 году, когда дебютировал на первенстве СССР и сразу же выиграл серебряную медаль. Год спустя был бронзовым призёром, ещё через два года вновь добыл серебро.
В 1960 и 1961 годах дважды подряд занимал третье место в зачёте национального первенства, а в 1962 году наконец заслужил звание чемпиона СССР в наилегчайшем весе. Благодаря череде удачных выступлений удостоился права защищать честь страны на чемпионате Европы в 1963 года в Москве — одолел здесь всех своих соперников и завоевал тем самым медаль золотого достоинства. За это достижение получил звание заслуженного мастера спорта. Последний раз выходил на ринг в качестве действующего боксёра в сезоне 1964 года, в последних международных матчах стал обладателем Кубка Европы. Всего в любительском боксе провёл 367 боёв.Ещё в 1961 году Быстров окончил Государственный центральный институт физической культуры, поэтому после завершения спортивной карьеры он вскоре перешёл на тренерскую работу.
В течение 30 лет готовил молодых боксёров в детско-юношеской спортивной школе «Метеор» в городе Жуковский Московской области (ныне школа носит его имя). Также на четыре года уезжал в командировку на Кубу, где был старшим тренером молодёжной сборной страны, контролировал тренировочный процесс, занимался отбором наиболее талантливых учеников.
В частности, отобрал в команду совсем юных Хуана Эрнандеса и Армандо Мартинеса, которые впоследствии стали олимпийскими чемпионами. За выдающиеся успехи на тренерском поприще Виктору Быстрову присвоено звание заслуженного тренера РСФСР.Умер 26 мая 1992 года, похоронен на Островецком кладбище в Раменском районе.Примечания Быстров Виктор Михайлович. Энциклопедия бокса. Проверено 18 апреля 2014. Виктор Быстров — асессор кубинских боксеров. Физкультура и спорт. Проверено 18 апреля 2014. Быстров Виктор Михайлович (1931—1992). Спорт-страна.ру. Проверено 18 апреля 2014.