Родился близ Мурска-Соботы, в деревне Ивановци на территории сегодняшней Словении. Его отец Штеван Боровняк был богатым ресторатором, а мать Каталин Гомбоши имела благородное происхождение. Первоначально их семья была протестантской, но позже отец Йожефа перешёл в католицизм из-за их внутрисемейных отношений.
С 1851 по 1852 годы Боровняк служил священником в церкви святого Стефана Хардинга в деревне Apatistvanfalva, регион Ваш. Позднее был священником в городах Град и Цанкове (где он и умер).Боровняк был защитником местного прекмурско-словенского диалекта.
На нём он писал книги, например, катехизис и молитвенник.
В 1877 году он переиздал прекмурский перевод Евангелия авторства Миклоша Кизмича уже после смерти последнего. Боровняк также был специалистом по мирному улаживанию политических конфликтов.