Джим родился 15 июня 1949 года в Лексингтоне, штат Теннесси, в семье Нэнси Луизы и Джеймса Варни старшего. Был четвёртым ребёнком в семье и единственным сыном.Будучи ребёнком, Варни легко запоминал длинные поэмы и значительную часть книг, которые он использовал, чтобы развлечь семью и друзей. Когда Варни был маленьким мальчиком, его мать заметила, что Джим быстро научился подражать мультфильмам, поэтому она отдала его в детский театр, когда ему было всего 8 лет.
В 1970-е годы пришёл на телевидение, где вёл различные программы, а затем стал использовать в них свой сценический образ Эрнеста Уоррена. Поначалу, Эрнест появлялся в рекламных роликах и телевизионных юмористических программах. Когда он набрал популярность, в 1984 году был снят первый телефильм «Семейный альбом Эрнеста» , а в 1986 году полнометражный фильм «Доктор Отто и тайна светящегося луча» , после которого последовал цикл художественных фильмов.Умер Варни от рака лёгкого в 2000 году.