Происходит из семьи одесских купцов и землевладельцев. Родоначальник Российской ветви Ансельмов (Анзельмов) прибыл в Одессу из Германии в 1817 году и занялся виноделием, а позже – пивоварением. Спустя годы его потомки владели уже пивоваренными заводами в Одессе, а также несколькими поместьями в Одесской губернии и Белоруссии.Отец Андрея Ансельма – потомственный почётный гражданин, инженер Иван Адамович Ансельм (5.8.1873—1944) окончил в 1903 году химическое отделение Рижского политехнического института и до революции работал технологом на одном из пивоваренных заводов Одессы, затем, в 20-е годы по протекции своего родственника Василия Ивановича Ансельма занял должность технолога Дорогомиловского (Трёхгорного) пивоваренного завода в Москве.Среднее образование Андрей Ансельм получил в Одесском реальном училище Святого Павла, куда поступил в 1913 году. Заканчивал он его уже в 1922 году как немецкую трудовую школу № 38.
В 1923 году А. И. Ансельм поступил в Одесский институт народного образования, который был открыт в 1920 году на базе бывшего Женского института, Фребелевских курсов и части кафедр Новороссийского университета для подготовки педагогических кадров. Через год, уже после окончания Гражданской войны он перевёлся на физический факультет Ленинградского университета, который окончил в 1930 году.
В 1929 – 1930 гг. А. И. Ансельм проходил преддипломную стажировку, а затем до 1934 года работал инженером-исследователем в вакуумной лаборатории Ленинградского завода «Светлана» , где под руководством будущего академика АН СССР П. И. Лукирского занимался теорией газового разряда и термоэлектронной эмиссии. Его коллегами по лаборатории оказались будущие академик А. И. Шальников и член-корр. АН СССР Г. А. Гринберг.
С окончанием университета работу в лаборатории на заводе А. И. Ансельм успешно совмещал с педагогической деятельностью.
В 1930 году он был принят сверхштатным преподавателем на физико-механический факультет Ленинградского политехнического института (ЛПИ), где с 1933 года на кафедре теоретической механики начал чтение курса по квантовой механике.
В 1934 году Андрей Иванович получил приглашение в Ленинградский университет старшим научным сотрудником теоретического отдела физического института и одновременно ассистентом кафедры теоретической физики. Здесь в 1938 году А. И. Ансельм по совокупности научных работ был утвержден в учёной степени кандидата физико-математических наук и звании доцента кафедры теоретической физики академика В. А. Фока.Вскоре после начала Великой Отечественной войны некоторые лаборатории и институты университета, включая физический, решением Советского правительства должны были эвакуироваться в Казань. Первый эшелон отправился 19 июля 1941 года. Уже в пути он был перенаправлен в Елабугу. Здесь вместе в семьёй А. И. Ансельм и оказался в конце лета 1941 года. Филиал университета расположился в здании Учительского института. Здесь Андрей Иванович проработал до декабря 1942 года, когда, по официальным сведениям, был командирован в эвакуированный из Ленинграда в Казань Физико-технический институт (ЛФТИ).
В действительности дело обстояло сложнее. По свидетельству близких, А. И. Ансельм как этнический немец оказался в списках лиц, подлежащих мобилизации (на самом деле, изоляции) в Трудовую армию системы НКВД СССР. Тогда положение спас будущий президент Академии наук СССР А. П. Александров, который организовал командировку, а по существу перевод Андрея Ивановича в казанский филиал ЛФТИ.
В Казани, в апреле 1943 года А. И. Ансельм защитил докторскую диссертацию «Электрические и электрооптические явления в жидкостях и взаимодействие молекул» . Его оппонентами были И. Е.Тамм, Я. И. Френкель и А. П. Александров. Одновременно с защитой диссертации Андрей Иванович был зачислен в штат ЛФТИ на должность старшего научного сотрудника.
В 1945 году Физтех вернулся в Ленинград, где в мае 1947 года академик А. Ф. Иоффе назначил А. И. Ансельма заведующим лабораторией молекулярных явлений и одновременно на три года возложил на него обязанности учёного секретаря ЛФТИ. Год спустя Андрей Иванович был утвержден в ученом звании профессора по специальности «теоретическая физика» . Начиная с 1946 года, научную работу в ЛФТИ он успешно совмещал с преподавательской, возобновив её в качестве сверхштатного профессора на кафедре теоретической физики ЛПИ, руководимой Я. И. Френкелем.
В начале 50-х годов А. И. Ансельм возглавил теоретический отдел ЛФТИ, где сразу создал сектор теории ядра и элементарных частиц, руководство которым было возложено на профессора И. М. Шмушкевича. Впоследствии этот сектор вырос в самостоятельный теоретический отдел Ленинградского института ядерной физики им. Б.П. Константинова, возглавляемый член-корр. АН СССР В. Н. Грибовым, а позже сыном Андрея Ивановича – А. А. Ансельмом.После кончины Я. И. Френкеля в январе 1952 года А. И. Ансельм, оставаясь сверхштатным профессором, занял его должность заведующего кафедрой теоретической физики ЛПИ.
На этом посту он пробыл четыре года. Предпосылки к уходу из ЛПИ стали складываться ещё в 1950 году.Тогда, в ходе кампании по борьбе с космополитизмом академик А. Ф. Иоффе был освобожден от должности директора ЛФТИ. Однако действительного члена Академии Наук СССР полностью изолировать от научной деятельности было невозможно, поэтому Абраму Фёдоровичу было дозволено организовать в Ленинграде Лабораторию полупроводников. Уже после смерти И. В. Сталина лаборатория была преобразована в Институт полупроводников АН СССР. По приглашению А. Ф. Иоффе в 1955 году А. И. Ансельм, оставив ЛФТИ, перешел в Институт полупроводников на должность заведующего лабораторией теоретической физики. Вскоре Андрей Иванович был вынужден сложить с себя и обязанности заведующего кафедрой теоретической физики ЛПИ для того, чтобы полностью сосредоточиться на новой работе. Постепенно теоретический отдел под его руководством вырос и стал ведущим центром в СССР по теории полупроводников.Лишь спустя почти 10 лет у Андрея Ивановича возникла возможность вернуться к преподавательской деятельности.
С 1964 по 1968 гг. в качестве сверхштатного профессора он преподавал статистическую физику и термодинамику в Ленинградском университете.После слияния в 1972 году Института полупроводников с ЛФТИ, А. И. Ансельм вновь оказался в штате физтеха.
Но теперь, в связи с достижением предельного возраста, установленного для руководителей, — в роли старшего научного сотрудника.
С 1977 года он занимал почётную должность профессора-консультанта сектора теории полупроводников (зав. сектором Ю. А. Фирсов) в теоретическом отделе ЛФТИ.Профессор Андрей Иванович Ансельм скончался в 1988 году в Ленинграде и был похоронен на Серафимовском кладбище.