Марк Габинский родился в 1932 году в Одессе во врачебной еврейской семье. Мать происходила из местечка Фундуклеевка Чигиринского уезда Киевской губернии, отец — из Стеблёва.Родители были вынуждены бежать из родных мест в результате погромов периода Гражданской войны и познакомились во время учёбы в Одесском медицинском институте, где отец впоследствии работал доцентом кафедры анатомии человека, а мать в кардиологической клинике. Во время войны отец, Александр Михайлович Габинский (1898—), был призван на фронт военврачом второго ранга, начальником санчасти в зенитном артдивизионе в 1-м гвардейском кавалерийском корпусе, а семья эвакуирована на теплоходе «Абхазия» в Гагры, затем в село Берёзовка Семипалатинской области, где мать устроилась врачом в местном санатории.
В 1943 году отца перевели заведующим военным санитарно-контрольным пунктом на Турксибе и семья присоединилась к нему в Семипалатинске.Ещё в детстве самостоятельно изучил испанский, итальянский и португальский языки. Семья вернулась в Одессу 19 июля 1946 года. После окончания отделения романской филологии филологического факультета Ленинградского университета в 1953 году был направлен на работу в Институт истории, языка и литературы Молдавского филиала Академии наук СССР. Молдавский (румынский) язык он также изучил самостоятельно ещё в студенческие годы. Всего М. Габинский овладел более чем десятью языками, включая албанский, сефардский, иврит, новогреческий, македонский и аромунский.
С 1956 года участвовал в составлении нового русско-молдавского словаря (издан в 1961 году).
В 1967 году защитил кандидатскую диссертацию по теме «Возникновение инфинитива как вторичный балканский языковой процесс (На материале албанского языка)» .
В том же году одноимённая монография была опубликована в Ленинградском отделении издательства «Наука» .
В 1972 году защитил докторскую диссертацию «Появление и утрата первичного албанского инфинитива (К проблеме инфинитивности в балканских языках)» , по материалам собственной одноимённой монографии, изданной в ленинградском филиале издательства «Наука» в 1970 году.Автор приблизительно 260 научных работ по различным проблемам балканских и романских языков, а также общего языкознания. Уже в 1967 году, первым из советских лингвистов опубликовал статью о сефардском (еврейско-испанском) языке («Зачатки утраты инфинитива в сефардских говорах Македонии» . Македонски јазик. Год XVIII. Скопје, 1967).
В 1992 году вышла книга М. Габинского «Сефардский (еврейско-испанский) язык. Балканское наречие» , первая на русском языке монография, посвящённая джудезмо.
В 1988 году стал сторонником движения за перевод молдавского языка на латинскую графику.
В 2007 году к семидесятипятилетию учёного в Кишинёве был опубликован его новый, монументальный «Словарь корневых этимологических дублетов румынского языка» (Dictionar de rizodublete etimologice ale limbii romane).Был членом редколлегии журналов «Revista de lingvistica si stiinta literara» и «Buletinul Institutului de Lingvistica» (на румынском языке).