Роман Гершельман происходил из потомственных дворян Санкт-Петербургской губернии; родился 28 ноября (10 декабря) 1815 года в семье прокурора Ивана Васильевича (Иоганна Вильгельма) (1779—1831).Получил образование в Главном инженерном училище (1831—1838), откуда в чине инженер-прапорщика 1 января 1836 года был выпущен в инженерный корпус русской армии.Переведенный через месяц в корпус инженеров морской строительной части, служил сначала в Петербургской инженерной команде, потом с февраля 1843 года в Кронштадтской, где получил чины подпоручика (10 июля 1843 года), поручика (12 августа 1848 года), штабс-капитана (6 декабря 1851 года) и капитана (15 апреля 1856 года).27 июля 1851 года, по Высочайшему повелению, Роман Иванович Гершельман был командирован за границу на фрегате Российского императорского флота «Грозящий» для выполнения особо важного возложенного на него секретного поручения.
С конца ноября 1857 года по начало июля 1858 года временно исправлял должность командира команды. Затем занимал должность командира Ревельской (с 11 октября 1858 года) и Петербургской (с 20 декабря 1859 года) инженерных команд, начальника строительной части Петербургского порта (с 4 апреля 1860 года) и производителя работ по сооружению новых доков в Кронштадте с 30 июня 1870 года по 23 января 1882 года, когда был прикомандирован к строительному отделению Морского технического комитета. За это время получил чины подполковника (8 сентября 1859 года), полковника (19 апреля 1864 года), генерал-майора (28 марта 1871 года) и генерал-лейтенанта (30 августа 1881 года).4 февраля 1885 года Р. И. Гершельман был отправлен в почётную отставку по состоянию здоровья.Роман Иванович Гершельман умер 10 (22) мая 1887 года и был погребён в Петрограде на Смоленском евангелическом кладбище.