Настоящее имя Грэя было Гершель Голдберг. Родился в Одессе (Российская Империя) в 1901 в семье Израиля и Селии Голдберг, эмигрировавших в США в 1905 году.
В седьмом классе бросил учёбу. Приходился братом Хайману Голдбергу, публиковавшему колонку и критические статьи для New York Post, автору нескольких книг, включая «Наш человек на кухне» , сборника рецептов из своей колонки под названием «Благоразумие Пенни» .
В 1912 отец Голдберга серьезно заболел и был помещен в больницу для операции. Во время его пребывания в госпитале, Селия начала готовить для мужчин в окрестности, которые экономили деньги, чьи семьи так же переехали из Европы в Америку. Когда Израиль вернулся из больницы, он увидел, что дела у Селии пошли очень удачно, и открыл ресторан. Все дети, включая Гарри и Хаймана, помогали отцу в бизнесе.
В 1932 Гарри женился на Милдред Бекер. Окончил колледж. Имел трех детей, — Беверли, Харви и Симеона.
В результате аварии был госпитализирован и, уже будучи в пятидесятилетнем возрасте, решил описать свою жизнь в 20-х и 30-х годах, а также гангстерские группы, контролировавшие Нью-Йорк. Чтобы защитить себя и свою семью, изменил фамилию и вместо Голдберг стал зваться Грэй.Скончался в октябре 1980 года, вскоре после начала съемок фильма «Однажды в Америке» .