Эльфрид Виммер родился 30 ноября 1881 году в Нижнем Шремсе в семье фермера из Вальдвиртеля. Учился богословию и естественным наукам в Венском и Грацском университетах.
С 1905 года преподавал естественную историю в Австрийской школе Св. Георгия в Стамбуле.
В 1907 году стал священником.
В свободное время Виммер путешествовал по Малой Азии, обогащая свой ботанический гербарий.
С 1918 по 1958 он был сначала священником в Вене, затем капелланом в Вамперсдорфе. Одновременно он фактически работал научным сотрудником Венского музея естественной истории и возглавлял Елизаветинский госпиталь Сестёр милосердия в Вене.
В 1944 году он был назначен его корреспондентом.Виммер был автором раздела книги А. Энглера Das Pflanzenreich, посвящённого лобелиевым, выходившего в 1943—1953.2 мая 1961 года Франц Эльфрид Виммер скончался.Основной гербарий Э. Виммера хранится в Венском музее естествознания (W). Также образцы, собранные им, хранятся в Берлинском ботаническом музее (B), Женевском ботаническом саду (G), Ботанических садах Кью (K), Мичиганском университете (MICH), Нью-Йоркском ботаническом саду (NY) и Смитсоновском институте (US).