Родился в казачьей семье на хуторе Сибилёв станицы Митякинской (ныне Каменский район Ростовской области). Отец хотел отдать сына в ученики сапожнику, однако вскоре после начала Первой мировой войны и ухода на фронт отца в 1914 году М. А. Алпатов по инициативе деда поступает в Каменскую гимназию.
В 1919 году вернувшийся с фронта отец посылает его в деникинскую армию, после разгрома которой под Новороссийском М. А. Алпатов возвращается домой, проникнувшись антипатией к белогвардейцам и симпатией к красным.
В 1920 году становится комсомольцем и вступает в Часть особого назначения по борьбе с бандитами, а также работает учителем на хуторе.
В 1923 году по комсомольской путёвке едет учиться в педагогический техникум в Ростов-на-Дону, который окончил в 1927 году. Затем работал учителем в с. Белая Глина, потом директором школы в станице Романовская.
В 1930 году вступил в ВКП(б).
В 1932 году поехал в Москву, где блестяще окончил Институт философии, литературы и истории и был зачислен в аспирантуру. Однако из-за ареста его давнего друга Николая Жарикова М. А. Алпатов (за разговоры с арестованным) получил строгий выговор; пришлось переехать в Сталинград и преподавать в пединституте.
В 1940 году вернулся в Москву, преподавал на Ленинских курсах и восстановился в аспирантуре.После начала Великой Отечественной войны и приближении немецко-фашистских войск к Москве в октябре 1941 года ушёл в ополчение, но вскоре был комиссован и направлен на работу инструктором в Чкаловский обком партии.
В Бугуруслане познакомился с З.
В Удальцовой, которая стала его женой. Их сын В. М. Алпатов родился в апреле 1945 года.После войны преподавал в Высшей партийной школе при ЦК ВКП(б) в качестве преподавателя и заместителя заведующего кафедрой всеобщей истории, одновременно учась в аспирантуре сначала на историческом факультете МГУ, а затем в Академии общественных наук при ЦК ВКП(б).Начав свою научную деятельность как медиевист — ученик Е. А. Косминского (1886—1959) и Р. Ю. Виппера (1859—1954), М. А. Алпатов уже с первых шагов определился как историограф, историк исторической науки.
В 1947 году защитил кандидатскую диссертацию «Политические идеи французской буржуазной историографии XIX века» (опубликована в виде монографии в 1949).
В 1948 году стал заведующим исторической редакцией Издательства иностранной литературы, затем в 1951 году — помощником главного редактора «Большой советской энциклопедии» . По совместительству работал в Институте истории АН СССР, куда окончательно ушёл в 1954 году (и работал там до самой смерти).
В Институте работал над основной темой «Русская историческая мысль и Западная Европа» , по которой в 1966 году защитил докторскую диссертацию, а также подготовил фундаментальный трёхтомный труд, вышедший затем в академическом издательстве «Наука» (1973—1985; последний том посмертно). Изучал также историю донского казачества.Автор романов «Горели костры» о донских казаках в годы первой русской революции, повести для детей «Вадимка» о гражданской войне и интервенции на Дону, автобиографической повести «Возвращение в юность» (исходное авторское название — «Комсомольская бурса» ) о студентах-комсомольцах 1920-х годов.Похоронен в Москве на Ваганьковском кладбище.