Родился 11 июля (23 июля по новому стилю) 1862 года в Одессе в еврейской семье.Окончив в 1887 году медицинский факультет Дерптского (Юрьевского) университета, Гольденблюм поступил на службу в петербургскую городскую Обуховскую больницу.
В 1887—1892 годах работал в Клиническом институте великой княгини Елены Павловны. Был автором ряда научных трудов по медицине.Затем увлёкся музыкой — в Петербургской консерватории изучал игру на фортепиано и теорию композиции (в классах H. Ф. Соловьёва).
В 1883—1888 годах Гольденблюм уже управлял симфоническими концертами в Дерпте, в 1889—1891 годах — организованными им же двумя большими хоровыми концертами.
В летние сезоны 1904—1909 годов дирижировал рядом концертов в Павловске.
В 1909 году он дирижировал в концертах графа Шереметева, в 1910 году — в концертах Русского музыкального общества.Кроме чисто музыкальной, Мориц Арнольдович занимался музыкально-критической деятельностью, состоя сотрудником российских газет на русском и немецком языках «Neue Dorptsche Zeitung» , «Новости» (1896), «St. Petersburger Herold» , музыкальным корреспондентом газеты «Hamburger Fremdenblatt» . Использовал псевдонимы Г—н, М.; Г—ъ, М.Умер 2 декабря 1919 года в Петрограде.