Родился в музыкальной семье в Вольмаре (ныне Валмиера), учился в Санкт-Петербургской консерватории. Этому учебному заведению он посвятил 38 лет — как студент и затем как педагог. Окончив консерваторию в 1886 году, стал вести в ней класс композиции (в 1901—1918 годах — профессор). Среди учеников Йосифа Ивановича (так его называли в Петербурге) — С. С. Прокофьев и Н. Я. Мясковский. Витолс был близким другом А. К. Глазунова и А. К. Лядова, принимал участие в «Беляевских пятницах» — творческих собраниях композиторов, проводившихся на квартире издателя и мецената Митрофана Беляева. Именно в издательстве Беляева было напечатано большинство произведений Витолса этого периода (опубликованы под именем Йозеф Витол).
В 1897—1914 годах Витолс выступал как музыкальный критик в печатных изданиях Петербурга, в частности в 1897—1914 годах являлся штатным музыкальным критиком в петербургской немецкой газете St. Petersburger-Zeitung. Его рецензии, критические статьи в советское время на русском языке изданы отдельным сборником. После революции он вернулся на родину, в Ригу, где стал одним из виднейших представителей музыкальной культуры независимой Латвии.
В 1918 году Витолс возглавил Латвийскую национальную оперу, год спустя основал Латвийскую консерваторию, в которой занимал пост профессора композиции и ректора (до 1944 с перерывом в 1935—1937).
В его классе обучались практически все известные впоследствии латвийские авторы музыки, в частности, Янис Иванов, Адольф Скулте, Маргер Зариньш, Янис Кепитис, Арвид Жилинскис, Макс Гольдин, жившие в эмиграции Вольфганг Дарзиньш, Таливалдис Кениньш, а также известный музыковед Лия Красинская и некоторые литовские композиторы.Один из подписантов Меморандума Центрального Совета Латвии от 17 марта 1944 года.
В 1944 году, когда в Латвию вошли советские войска, Витолс эмигрировал в Германию, где с 1946 года преподавал во вновь основанной музыкальной школе в Детмольде.Скончался он 24 апреля 1948 года в больнице г. Любека.
В 1993 году его прах был перевезен из Любека и перезахоронен 27 июня на Лесном кладбище Риги.