Окончив среднюю школу в Симферополе, поступил на исторический факультет МГУ, завершив обучение в первые дни войны.
В 1941 году добровольцем пошёл на фронт, дважды ранен, в 1942 году исполнял обязанности политрука роты 399 стрелкового полка 111 стрелковой дивизии, награждён орденом Славы III степени и медалью «За оборону Москвы» (а позже, к 40-летию Победы — и орденом Отечественной войны I степени).
В 1940 году вступил в ВКП(б). После войны — аспирант Института истории АН СССР.
С 1950 года — научный сотрудник того же института.
В 1953 году защитил кандидатскую диссертацию «Царизм и монополии в топливной промышленности России накануне Первой Мировой войны» .Занимался экономической историей царской России периода капитализма, историей русского революционного движения и демократической мысли конца XIX — начала XX веков, до 1970 года опубликовал более ста работ.
С середины 1950-х годов активно участвовал в создании, написании и редактировании многотомной «Всемирной истории» . Тогда же начал заниматься вопросами методологии и философии истории, эволюции идеи утопии и понятия человечества и др.
В 1964 году создал и возглавил сектор методологии истории, объединивший историков, культурологов и философов.
В коллективной монографии «Историческая наука и некоторые проблемы современности» (1969) Гефтер представил неортодоксальный портрет В. И. Ленина, описав недоговорённости, противоречия и неясности в ленинских взглядах; вождь оказался не носителем высшей истины, а обычным человеком, мучительно искавшим ответы на «проклятые вопросы» русской истории. После выхода книги сектор методологии закрыли по указанию отдела науки ЦК КПСС, с формулировкой «по идеологическому несоответствию» . Гефтер перестал печататься и был вынужден работать «в стол» .
В 1976 году по собственному желанию вышел на пенсию.
С середины 1970-х годов участвовал в правозащитном и диссидентском движении. Один из основателей и авторов самиздатского журнала «Поиски» (1977—1981).
В 1982 году вышел из КПСС.
В 1978 году в письме американскому историку Стивену Коэну Гефтер так писал о себе: ...я не диссидент в привычном смысле, я, если угодно, аутсайдер или, по Вашей терминологии, еретик. Я не знаю ответов заранее и пробиваюсь к вопросам, всегда готовый сделать посильное, чтобы помочь в этом другим, более молодым...При М. С. Горбачёве с 1987 года Гефтер вновь получил возможность печататься и работать.
В 1991 году десятитысячным тиражом вышел сборник публицистических и исторических статей «Из тех и этих лет» . Совместно с Ю. Н. Афанасьевым и А. Д. Сахаровым учредил общественно-политический клуб «Московская трибуна» .
С 1992 года — президент научно-просветительского центра «Холокост» .
С февраля 1993 года Михаил Гефтер — член консультационно-аналитического совета при Президенте России.
В знак протеста против расстрела Верховного совета ушёл с этого поста.Умер 15 февраля 1995 года.