Родился в семье эмигрантов из Ковно (Российская империя) Джозефа Гольдштейна (1876—1917) и Хильды Хэррис (1879—1914). Рано остался без родителей. Учился в школе в Сандерленде, продолжил обучение в университете Лидса (1921), где изучал математику, после перешёл в Сент-Джонс колледж в Кембридже, который окончил в 1925 году. Научный руководитель — Гарольд Джеффрис. Получил Премию Смита в 1927 году.
В 1928 году защитил докторскую диссертацию «Теория и применение функций Матье» . Получил поддержку научного фонда Рокфеллера и год стажировался в университете Гёттингена.
В 1929 году он стал членом колледжа Святого Джона, но позже в том же году начал читать лекции по математике в Университете Манчестера. Испытал большое влияние Осборна Рейнольдса и Горация Лэмба.
В 1931 году переехал в Кембридж, приступил к редакции современных работ по гидродинамике, выполняемое ранее Лэмбом. C 1937 года член Лондонского королевского общества.Во время Второй мировой войны вёл исследования по теории пограничного слоя в Национальной физической лаборатории.Решительно поддержал создание государства Израиль и в 1950 году возглавил департамент математики в Технионе — Израильском технологическом институте. Осознав, что административная работа слишком тяжела для него, в 1954 году перешёл в Гарвардский университет, профессор прикладной математики.Вышел на пенсию в 1968 году, почётный профессор Гарвардского университета.
В 1975 году избран иностранным членом Финского научного общества.