Исраэль родился в городе Конотоп в Российской империи (сейчас Сумская область Украины) в 1895 году. Его отец Барух был бухгалтером и приверженцем Хабада, его мать, Блума, вела домашнее хозяйство. Дома разговаривали на русском языке. Среди его родственников были двоюродный брат его отца Авраам Идельсон (один из лидеров сионизма) и двоюродный брат Исраэля музыковед Авраам Цви Идельсон.
В детстве его семья переехала в Екатеринослав, где Бар-Йехуда учился в средней школе. Там же он закончил Екатеринославский институт инженеров горной промышленности.
В возрасте 14 лет он присоединился к сионистской организации «Внуки Сиона» , а спустя два года к организации «Молодежь Сиона» . Именно по причинам сионизма, он начал учебу на горного инженера, чтобы принять участие в бурении нефтяных скважин после переезда в Израиль.Накануне Первой мировой войны он был избран руководителем Екатеринославского отделения организации «Молодежь Сиона» .
В силу занимаемой должности, что он решил установить прямые контакты с беженцами, которые прибыли во время войны в город, и изучал для этой цели язык идиш.
Он стал секретарем ЦК «сионистов-социалистов» , где он познакомился и женился на Беба Идельсон.
В 1922 году они оба были арестованы Советской властью и сосланы в Сибирь.
В 1924 году, благодаря заступничеству жены Горького, их ссылка была заменена депортацией за границы СССР. Они выехали сначала в Литву, а оттуда в Берлин через Данциг.
В течение следующих двух лет в Берлине они активно участвуют в создании Всемирного союза социалистических сионистов, в котором Исраэль стал секретарем движения.
В 1926 году Исраэль Бар-Йехуда переехал жить в Палестину.