Учился на медицинском факультете Московского университета и на театральном отделении Московского филармонического училища.
В 1916 году принят в труппу МХАТ, участвовал в массовых сценах, играл роль Хлеба в «Синей птице» .
С 1919 по 1922 год — в Камерном театре, потом недолго работал в Московском детском театре, в Театре им. В. Ф. Комиссаржевской.
В 1922 году вступил в труппу театра-кабаре «Нерыдай» , пробовал конферировать.
С 1924 году участник живой газеты «Синяя блуза» , а с 1925 г. — руководитель одной из её групп. Играл в коротких сценах, исполнял фельетоны, пел куплеты, танцевал, иногда вёл программу. Обращался к темам современности, злобе дня.
В 1928 году окончательно определился в качестве конферансье. Гастролируя вместе с Алексеем Алексеевым, учился у него. Большое влияние на Гаркави оказал Владимир Маяковский, встречи («разговоры-доклады» ) поэта с читателями.
В 1929—1942 годах был мужем певицы Лидии Руслановой.Лидия Русланова и Михаил Гаркави на фронтовом концерте. 1941 годРаботал на передовой во время Советско-Финской войны. Во время Великой Отечественной войны был постоянным участником фронтовых бригад.
В 1945 году награждён орденом Отечественной войны 1 степени и медалью «За доблестный труд в Великой Отечественной войне 1941—1945 гг.» .Выступал как конферансье до 1960-х годов.
В конце жизни вёл программы джаз-оркестра Эдди Рознера.Михаил Наумович Гаркави скончался 14 сентября 1964 года. Похоронен на Новодевичьем кладбище.