Родился в местечке Руйиена, в семье Меера-Ицика Гольдберга и Кейлы-Ханы Гиберман, уроженцев Бауска, поженившихся в Риге за год до его рождения. Вскоре семья переезжает в эстонский Выру. Гольдберг закончил немецкую школу в Тарту, в 1923—1924 годах учился в Тартуском университете, затем поступил в Швейцарскую высшую техническую школу Цюриха, где получил диплом химика-инженера. Докторскую выполнял под руководством нобелевского лауреата Леопольда Ружички, его коллегами были многие известные химики, такие как Тадеуш Рейхштейн, Георг Розенкранц и Лео Штернбах. Его работа под названием «Versuche zur Synthese Ephedrin-ahnlicher Korper» («Эксперимент по синтезу эфедриноподобных соединений» ) была защищена в 1931 году.
В 1935 году Гольдберг, несмотря на усиливающуюся в стенах института ксенофобию, проходит процедуру хабилитации. Швейцарское химическое общество в 1940 году вручает учёному медаль и премию Вернера.
В 1942 году Гольдберг эмигрирует в США и устраивается в головное отделение компании «Hoffmann-La Roche» в Натли (Нью-Джерси)[en]. Совместно со Штернбахом в 1949 году патентует процесс синтеза биотина. За время работы в компании получает еще несколько патентов, занимаясь антибиотиками и другими лекарственными препаратами.Уходит из жизни в феврале 1964 года, в возрасте 58 лет.