Виджай Амритрадж родился в конце 1953 года в Мадрасе в семье Роберта Амритраджа и Мэгги Дхайриам. Виджай и его братья учились в тамильской школе Дон Боско в Мадрасе, а затем в иезуитском Колледже Лойолы, также в Мадрасе. Впоследствии и Виджай, и два его брата занимались профессинальным теннисом.
В 1974 году Виджай стал лауреатом индийской премии Арджуна, вручаемой за спортивные достижения, в 1983 году — лауреатом премии Падма Шри, одной из самых престижных наград страны, в области спорта, а в 1988 году был удостоен чести принять участие в эстафете Олимпийского огня.
В 2001 году он был назначен Посланником мира при ООН, посвятив несколько лет борьбе с наркотиками и СПИДом в мире.
В 2006 году он основал Фонд Виджая Амритраджа, гуманитарную организацию, занимающуюся помощью «жертвам болезней, трагедий и обстоятельств» в Индии.После окончания спортивной карьеры Виджай ведёт спортивные трансляции с крупнейших теннисных соревнований для каналов ESPN Stars и Fox Sports.
Он основал в своём родном Мадрасе (в настоящее время Ченнай) первую в Индии теннисную академию. Выпускниками Академии Британия-Амритрадж в частности являются такие теннисисты, как Леандер Паес и Рохит Раджпал.
С 1989 года он пять раз избирался председателем Совета игроков Ассоциации теннисистов-профессионалов (АТР).Жена Виджая, Шьямала, — тамилка с Цейлона. У них двое сыновей. Один из сыновей Виджая, Пракаш Амритрадж, как и его племянник, сын Ананда Амритраджа Стивен, выступает в профессиональных теннисных турнирах.