Альфонсо родился 20 апреля 1936 года в клинике Санта-Анна в Риме. Старший сын инфанта Хайме де Бурбона (1908—1975), герцога Сеговии и Анжу, второго сына короля Испании Альфонсо XIII. Его матерью была Эмануэла де Дампьер (1913—2012), первая жена Хайме, дочь французского дворянина Роже де Дампьера (1892—1975), 2-го герцога де Сан-Лоренцо и виконта де Дампьер, и принцессы Виттории Русполи (1892—1982).Альфонсо жил в Риме, где его отец Хайме сохранил королевский двор в изгнании, поскольку королевская семья бежала из Испании в 1931 году, после победы на выборах республиканцев и социалистов. Альфонсо был крещен в Палаццо Русполи в Риме, в доме его бабки по материнской линии Виттории Русполи. Его крестил кардинал Эудженио Пачелли, будущий папа римский Пий XII.
В 1941 году Альфонсо и его родители переехали в Швейцарию, последовав за своей бабкой, королевой Викторией-Евгенией в Лозанну. Сначала они жили в Королевском отеле, затем Альфонсо и его младший брат Гонсало были отправлены в Колледж Сен-Жан (позднее Международная школа Вилла Сен-Жан) в Фрибурге. 8 декабря 1946 года Альфонсо и Гонсало приняли первое причастие из рук кардинала Севильи Педро Сегура-и-Саэнс.