Родился в Вижнице, одном из известных центров хасидизма на Буковине, в то время почти на 90 % населённом евреями. Отец был плотогоном, участвовал в Первой мировой войне как солдат австрийской армии. Когда на Буковину вступили русские войска, мать с сыном бежали в Венгрию и скрывались там до окончания войны.Когда будущему писателю было 12 лет, семья переехала в Черновицы, где он стал учиться профессии портного, давал репетиторские уроки ученикам младших классов, вечером посещал румынскую гимназию, затем — курсы еврейских учителей. Одним из его учителей был Элиэзер Штейнбарг, с баснями и пьесами которого он познакомился в 9 лет и который оказал на него большое влияние.
В 1934 году дебютировал в газете «Черновицер блетер» (идиш , «Черновицкие листки» ) с первым рассказом на идише — «На лесосплаве» (идиш — афн плитнтрайб). Решение писать на идише, а не на немецком (литературном языке ассимилированного еврейского населения города), было сознательным.
С тех пор в еврейской печати стали постоянно появляться его короткие новеллы, посвящённые в основном природе Карпат и людям Буковины. Они публикуются в «Черновицер блетер» вплоть до её закрытия румынскими властями в конце 1937 года в связи с запретом на еврейскую периодику в стране.
В 1935—1938 годах учился на факультете немецкой филологии Венского университета. После аншлюса был вынужден прекратить учёбу и вернулся в Черновицы.
В 1939 и 1940 годах в Бухаресте выходят два дебютных сборника рассказов Иосифа Бурга — «На Черемоше» (« » — афн чермуш) и «Яд» («» — сам).
В 1940 году после присоединения Северной Буковины к СССР принял советское гражданство.
В 1941 году по рекомендации Ицика Фефера был принят в Союз писателей СССР, но членский билет получить не успел.
В начале войны успел эвакуироваться, мать была депортирована из города и погибла в Транснистрии.
В эвакуации вначале оказался в АССР немцев Поволжья, затем жил в Узбекистане.Вернувшись в Черновцы после войны, работал преподавателем немецкого языка. Кампания борьбы с «космополитизмом» и разгром еврейской культуры в СССР повергли Бурга в состояние творческого шока, и в его писательской деятельности наступает большой перерыв (ощущения того времени Бург передаёт в своей новелле «Рус» .) Он уезжает из Черновцов, вынужденный бросить работу на кафедре в институте и диссертацию по творчеству Гейне.
В 1950-х годах преподаёт немецкий язык и литературу на Урале и в Москве.
В 1958 году вместе с семьёй (женой и дочерью), возвращается в Черновцы, найдя город полностью изменившимся. Продолжает работать учителем немецкого языка и пишет на идише «в стол» .
В 1967 году в единственном в СССР издании на идише — московском журнале «Советиш геймланд» — впервые появляется его новый рассказ «Возвращение» (« » цурик аейм).
В 1980 году выходит его первая книга в СССР — сборник рассказов «Жизнь продолжается» (« » дос лэбм гейт вайтер).
В 1987 году его вновь принимают в Союз писателей СССР.
В эпоху перестройки активно включился в возрождение национальной жизни еврейской общины Черновцов, возглавил Общество еврейской культуры, названное в честь классика еврейской литературы, баснописца Элиезера Штейнбарга.
В конце 1990 года общество после перерыва в 53 года возобновило издание газеты «Черновицкие листки» (на этот раз двуязычной — на русском языке и идише), её редактором стал Иосиф Бург.Книги новелл и рассказов «Яд» , «Жизнь продолжается» , «Перекличка времён» , «Запоздавший отголосок» , «Цветы и слёзы» отдельными изданиями выходили в ФРГ, Австрии, Израиле, Италии в переводах на несколько европейских языков.
В 2007 году к 95-летнему юбилею И. Бурга были изданы две его новые книги — «Девять» (на немецком языке) и «Встречи» (на идише). Существуют двуязычные немецко-идишские издания, в которых текст на идише набран латинским шрифтом.