Аркин родился в семье нерелигиозных евреев, потомков эмигрантов из Российской империи и Германии.
В молодости мечтал о музыкальной карьере, солировал в фолк-группе «The Tarriers» .
В начале 1960-х с успехом дебютировал на Бродвее, за один из первых же спектаклей был удостоен премии «Тони» .
В драме «Дождись темноты» сыграл психопатичного мучителя героини Одри Хепбёрн. За роль лейтенанта Розанова в комедии «Русские идут! Русские идут!» (1966) получил престижную премию «Золотой глобус» и первую номинацию на «Оскар» .
В 1972 году Аркин руководил первой постановкой пьесы Нила Саймона «Комики» , ставшей со временем бродвейской классикой. Также опубликовал несколько детских повестей в жанре фэнтези. Снимался во множестве фильмов различных жанров — от культовой «Уловки-22» (1970) до макабрической сказки «Эдвард Руки-ножницы» (1990).
В 2007 году с третьей попытки выиграл премию «Оскар» за роль неравнодушного к порно и героину деда в фильме «Маленькая мисс Счастье» , обойдя свего ближайшего соперника Эдди Мёрфи.
В 2013 году роль авторитетного кинопродюсера Лестера Сигела в триллере Бена Аффлека «Операция Арго» принесла Аркину новые номинации на премии «Оскар» , Гильдии киноактёров США, «Золотой глобус» и BAFTA.