Родился в семье служащего таможни, благородного французского эмигранта. Воспитывался дома, с 1818 года — в Дерптской гимназии. После получения среднего образования, в 1821 году поступил в Дерптский университет, но с марта 1823 года учился на отделении (факультете) врачебных или медицинских наук Московского университета. По окончании курса 11 сентября 1826 году со степенью лекаря 1-го отделения с отличием, поступил с 12 октября на службу в Хирургический институт при Московском университете.
В 1826—1834 годах занимался практической медициной: состоял помощником директора Хирургического института и ординатором (с 1830) при университетской больнице.
В 1833 году А. О. Армфельд защитил диссертацию «О расширении или аневризме сердца» и получил степень доктора медицины.
В 1834 году Александр Осипович Армфельд отправился для усовершенствования на три года за границу и по возвращении, в 1837 году, вступил в должность ординарного профессора кафедры судебной медицины.
С 1839 года до конца жизни Армфельд состоял инспектором классов Сиротского института Московского воспитательного дома.Кроме небольших статей, появлявшихся в разных периодических изданиях, зачастую без его подписи, ему принадлежат следующие труды: «De dilatatione cordis. Dissertatio inauguralis» (Москва, 1833); «De finibus certorum et probabilium in responsis medicorum forensium» (1848).
С 31 июля 1853 года — действительный статский советник; с 1859 года — заслуженный профессор Московского университета. Лекции А. О. Армфельда отличались высоким литературным стилем, изящным изложением предмета.
Он одним из первых подал голос за допущение женщин к обучению в университете. Преподавал А. О. Армфельд до 1862 года, с 1863 года — в отставке.Александр Осипович Армфельд скончался 12 марта 1868 года (по другим данным — 15 октября 1877). Похоронен на 13 участке Ваганьковского кладбища в Москве. Могила утрачена.А. О. Армфельд был постоянным посетителем литературного салона А. П. Елагиной, где встречались выдающиеся представители русской интеллигенции: Пушкин, Гоголь, Аксаковы, Огарев, Герцен, Пирогов и многие другие.
В доме Армфельда часто бывали Гоголь, Лермонтов, Щепкин и др. А сам А. О. Армфельд находился в течение многих лет под негласным надзором полиции.Замечательно красноречивый профессор и непобедимый оратор Английского клуба в Москве.