Родился в белорусско-еврейской семье. Родители: Иван Карпович Алфёров и Анна Владимировна Розенблюм. Отец будущего учёного родился в Чашниках, мать происходила из местечка Крайск (ныне Логойский район Минской области Белоруссии). Имя получил в честь Жана Жореса. Довоенные годы провёл в Сталинграде, Новосибирске, Барнауле и Сясьстрое.Во время Великой Отечественной войны семья Алфёровых переехала в Туринск (Свердловская область), где его отец работал директором целлюлозно-бумажного завода, и после её окончания вернулась в разрушенный войной Минск. Старший брат — Маркс Иванович Алфёров (1924—1944) — погиб на фронте. Окончил с золотой медалью среднюю школу № 42 в Минске и по совету учителя физики Якова Борисовича Мельцерзона несколько семестров отучился в Белорусском Политехническом Институте (ныне БНТУ) г. Минска на энергетическом факультете, после чего поехал поступать в Ленинград, в ЛЭТИ.
В 1952 году окончил факультет электронной техники Ленинградского электротехнического института имени В. И. Ульянова (Ленина) (ЛЭТИ), куда был принят без экзаменов.
С 1953 года работал в Физико-техническом институте имени А. Ф. Иоффе, где был младшим научным сотрудником в лаборатории В. М. Тучкевича и принимал участие в разработке первых советских транзисторов и силовых германиевых приборов. Кандидат физико-математических наук (1961).
В 1970 году Алфёров защитил диссертацию, обобщив новый этап исследований гетеропереходов в полупроводниках, и получил степень доктора физико-математических наук.
В 1972 году Алфёров стал профессором, а через год — заведующим базовой кафедрой оптоэлектроники ЛЭТИ.
С начала 1990-х годов Алфёров занимался исследованием свойств наноструктур пониженной размерности: квантовых проволок и квантовых точек.
С 1987 по май 2003 года — директор ФТИ им. А. Ф. Иоффе.Ж. И. Алфёров на открытии памятника нобелевскому лауреату А. М. ПрохоровуВ 2003 году Алфёров оставил пост руководителя ФТИ и до 2006 года занимал пост председателя учёного совета института. Однако Алфёров сохранил влияние на ряд научных структур, среди которых: ФТИ им. А. Ф. Иоффе, НТЦ Центр микроэлектроники и субмикронных гетероструктур, научно-образовательный комплекс (НОК) Физико-технического института и физико-технический лицей.
С 1988 г. (момента основания) декан физико-технического факультета СПбГПУ.
В 1990—1991 годах — вице-президент АН СССР, председатель Президиума Ленинградского научного центра.
С 2003 года — председатель Научно-образовательного комплекса «Санкт-Петербургский физико-технический научно-образовательный центр» РАН. Академик АН СССР (1979), затем РАН, почётный академик Российской академии образования. Вице-президент РАН, председатель президиума Санкт-Петербургского научного центра РАН. Главный редактор «Писем в Журнал технической физики» .Был главным редактором журнала «Физика и техника полупроводников» , членом редакционной коллегии журнала «Поверхность: Физика, химия, механика» , членом редакционной коллегии журнала «Наука и жизнь» . Был членом правления Общества «Знание» РСФСР.Являлся инициатором учреждения в 2002 году премии «Глобальная энергия» , до 2006 года возглавлял Международный комитет по её присуждению. Считается, что присуждение этой премии самому Алфёрову в 2005 году, стало одной из причин оставления им этого поста.Является ректором-организатором нового Академического университета.
С 2001 года Президент Фонда поддержки образования и науки (Алфёровского фонда).5 апреля 2010 года объявлено о том, что Алфёров назначен научным руководителем инновационного центра в Сколково.
С 2010 года — сопредседатель Консультативного научного Совета Фонда «Сколково» .
В 2013 году баллотировался на пост президента РАН и, получив 345 голосов, занял второе место.Автор более 500 научных работ, трёх монографий и 50 изобретений.