Родился 30 июня 1963 года в английском курортном городке Уэстон-сьюпер-Мэр графства Сомерсет в семье Марии Луизы Грейвс (в дев. Робертс), тур-оператора, и Ричарда Хардинга Грейвса, учителя музыки.Образование получил в родном городе в специализированной спортивной академии Wyvern Community School.
В пятнадцатилетнем возрасте Грейвс покинул заведение.Начинал актёр в амплуа циркового клоуна.Первая роль, принёсшая ему успех — Фредди Ханичёрч в фильме «Комната с видом» , где партнёрами Грейвса по съёмочной площадке выступили такие именитые актёры, как Мэгги Смит, Джуди Денч и начинавшая кинокарьеру Хелена Бонэм Картер. Затем Грейвс был отмечен в киноленте «Морис» с Хью Грантом. Следующие его заметные роли: «Пригоршня праха» , «Девочки любят иначе» , «Интимные отношения» , «Сага о Форсайтах» .Новая волна популярности обрушилась на Руперта благодаря роли детектива-инспектора Лестрейда в телесериале «Шерлок» .
В 2015 году Грейвс был приглашен в сериал ABC «Семья» , на основную роль мужа Клэр Уоррен в исполнении Джоан Аллен.