Боксом начал заниматься в 13 лет под руководством тренера Владимира Фроловича Конькова, привившего ему необычную манеру боя, одним из элементов которой была открытая стойка с опущенными руками.
В 1960 году Агеев начал уникальную победную серию, в ходе которой выиграл 34 международных встречи, дважды (1965, 1967) завоевал титул чемпиона Европы и четырежды (1963, 1965—1967) — чемпиона СССР.Спортивная карьера Агеева оборвалась в 1968 году, когда он был исключён из сборной и лишён звания мастера спорта за драку возле московского ночного кафе.
Это не позволило ему попасть на Олимпиаду — в Мехико.Спустя почти три года Агеев оказался замешан ещё в одной драке и дело кончилось реальным сроком.
В настоящее время подобные деяния уже не являются уголовными, а лишь административными правонарушениями. Как пишет портал "Я в спорте. Ру" необходимо сделать следующие пояснения политического характера. Эпоха Хрущёва, которая повсюду позиционировалась как демократическая, на самом деле отличалась борьбой против непохожести, независимости, оригинальности.
В спорте первой жертвой такой кампании стал выдающийся советский спортсмен Эдуард Стрельцов. Его обвинили в злоупотреблении своими успехами, которое, по мнению советских властей, выразилось в чрезмерной «звёздности» . Виктор Агеев стал второй «зарвавшейся звездой» .Агеев освободился весной 1975 года, но в Москву вернуться не мог — столичную прописку у него аннулировали. Тем не менее, благодаря связям, получить заветный штамп в паспорте о проживании в столице в скором времени всё-таки удалось.После возвращения в Москву Агеев работал тренером. Среди его учеников чемпионы СССР, Европы и Мира — В.Рыбаков, В.Лимасов, В.Соломин, Галкин, победитель знаменитого кубинца Эрреры легковес Анатолий Петров и первый чемпион России среди профессионалов Виктор Егоров, Николай Токарев, Сергей Кобзев, Виктор Карпухин.
В конце 1980-х Агеев стал одним из инициаторов развития в СССР профессионального бокса.
В 1992 избран президентом Федерации профессионального бокса России, вошёл в руководство Всемирной боксёрской ассоциации (WBA) и Паназиатской боксёрской ассоциации (PABA).
В г. Балашиха Московской области им создан Спортивный клуб им. В. П. Агеева, где в Школе бокса В. П. Агеева бесплатно тренируются свыше 100 юных спортсменов. Специализированный зал бокса оснащен новейшим оборудованием, также в клубе имеется тренажерный зал и восстановительный центр. Ежегодно в Балашихе проводится международный турнир на призы Виктора Петровича Агеева.Спортивная карьераЧемпионат Европы по боксу 19651/8 финала: победа нокаутом в первом раунде над швейцарским боксёром Бауманном1/4 финала: победа по очкам над боксёром из ГДР Юргеном Воигтляндером1/2 финала: победа по очкам над итальянским боксёром Марио Касатифинал: победа техническим нокаутом во втором раунде над болгарским боксёром Ангелом ДойчевымЧемпионат Европы по боксу 19671/8 финала: победа техническим нокаутом в третьем раунде над голландским боксёром Германом Шерегардусом1/4 финала: победа по очкам над шотландским боксёром Томом Имрием1/2 финала: победа по очкам над румынским боксёром Ионом Ковачифинал: победа ввиду отказа от боя польского боксёра Витольда Стахурский