Родился в состоятельной еврейской семье и был тринадцатым из шестнадцати детей Абрама Горенштейна и первым ребёнком от его третьей жены Марии Эттингер, происходившей из австрийской раввинской семьи.
В 1906 году семья перебралась в Кёнигсберг, где Яша занимался у дирижёра и скрипача Макса Броде (1850—1917), а в ноябре 1911 года — в Вену, где он обучался в Городской гимназии № 2 (там одним из первых его друзей стал композитор Ханс Эйслер).
С 1916 года обучался в Венской академии музыки у Йозефа Маркса по музыкальной теории и у Франца Шрекера по композиции, там же посещал курсы классической философии; формального дирижёрского образования не получил.
В 1920 году переехал в Берлин вместе с классом Шрекера, назначенного директором Берлинской высшей школы музыки. Писал песни, фортепианную и камерную музыку (впоследствии уничтожил все сочинения), один сезон играл во вторых скрипках в Венском симфоническом оркестре. Вынужден был оставить скрипку, серьёзно повредив палец при разделывании мяса.
В 1922 году дебютировал как дирижёр в зале Венского музыкального общества. Был ассистентом у хорового дирижёра Зигфрида Окса и у Вильгельма Фуртвенглера, чьи репетиции с Берлинским филармоническим оркестром называл своей единственной школой дирижирования. Работал с Берлинским симфоническим оркестром.
В 1928 году по рекомендации Фуртвенглера стал главным дирижёром оркестра, а через год — музыкальным директором Дюссельдорфского оперного театра.
С 1932 года в адрес театра начали приходить послания антисемитского характера, касавшиеся в первую очередь Горенштейна. 31 марта 1933 Горенштейн вынужден был бежать в Париж, опасаясь ареста. Гастролировал в Польше, в течение летних месяцев 1934—1937 гг. — в СССР с оркестрами Москвы и Ленинграда, в последующие годы до начала войны — в Австралии и Новой Зеландии с Русским балетом Монте-Карло, в Палестине (1938) с новым филармоническим оркестром.18 января 1939 году Горенштейн, получив через знакомого дипломата фальшивые гондурасские паспорта, с семьёй отплыл на океанском лайнере в Нью-Йорк.
С 1941 г. преподавал на факультете искусств в Новой школе, руководил тамошним хором.
В мае 1942 г. дебютировал на американской сцене, но известности в США не приобрёл.
В январе 1944 г., по рекомендации Эриха Клайбера, был приглашён в Мехико на серию концертов, имевших огромный успех.
В последующие 3,5 года работал в странах Южной Америки, в том числе в Аргентине, Бразилии, Уругвае.
В ноябре 1947 г. вернулся во Францию.
В 1952 г. начал делать записи на фирме Vox, ставшие впоследствии знаменитыми.
В 1956 г., вместо заболевшего Йозефа Крипса, дирижировал Лондонским симфоническим оркестром на 6-недельном фестивале искусств, посвящённом 70-летию Йоханнесбурга; сотрудничество с этим коллективом продолжалось до конца жизни Горенштейна. Затем последовала 10-недельная серия концертов на Фестивале латиноамериканской музыки в Венесуэле.
В 1958 г. впервые за 25 лет выступил в Германии, заменив заболевшего Ойгена Сенкара (без репетиций) на концерте в Берлине с оркестром РИАС. Концерт прошёл с огромным успехом, однако Горенштейн не остался в Германии.
В последующие годы в Германии и Австрии выступал редко.Сестра Яши Горенштейна Августина была замужем за пианистом Лео Сиротой (Leo Sirota, 1885—1965); их дочь — японский искусствовед и правозащитник Беата Сирота Гордон (Beate Sirota Gordon, 1923—2012).