Имре Варга получил образование в Будапештской военной академии и во Вторую мировую войну служил офицером в военной авиации.
В 1945 году Варга вернулся из плена на родину и посвятил себя изобразительному искусству.
В 1950—1956 годах Варга учился в Венгерской академии изобразительных искусств в Будапеште.Имре Варга преимущественно известен своими разнообразными скульптурными работами. Среди них — скульптурные портреты Ференца Ракоци, Михая Каройи, Ференца Листа, памятник жертвам холокоста в Будапеште.
В СССР Имре Варга стал известен в 1980 году после скандальной публикации на обложке журнала «Иностранная литература» фотографии немыслимого в то время по своему замыслу памятника В. И. Ленину работы Имре Варги, где вождь мирового пролетариата изображён маленьким старичком в кепке, отвернувшимся от огромного знамени с собственным портретом и уходящим вниз по лестнице. Работы Имре Варги представлены в девяти странах мира.
В Будапеште работает музей Имре Варги.