Фернандо де Сильва Альварес де Толедо был сыном Хосе Мануэля де Сильва и Толедо, 10-го графа Гальве, и Марии Терезы Альварес де Толедо, 11-й герцоги Альба-де-Тормес (1739—1755).У него было две сестры: Мария Тереза де Сильва и Алвьарес де Толедо, жена с 1738 года Франсиско Хакобо Фитц-Джеймса Стюарта и Колона де Португала (1718—1785), 3-го герцога Бервика, и Марианна де Сильва и Альварес де Толедо.Фернандо де Сильва и Альварес де Толедо был человеком, связанным с культурой эпохи Просвещения, и другом известного французского философа Жан-Жака Руссо.
В 1746—1749 годах — посол Испании во Французском королевстве.8 ноября 1753 года Фернандо де Сильва и Альварес де Толедо был назначен главным майордомом (стюардом) испанского короля Фердинанда VI (1746—1759).
В 1760 году после смерти Фердинанда VI и вступления на трон его младшего брата Карла III (1759—1788) он был отправлен в отставку по собственной просьбе.
С 9 апреля по 15 мая 1754 года занимал должность премьер-министра (первого секретаря) Испании.9 апреля 1754 года Фернандо де Сильва и Альварес де Толедо был назначен директором Испанской королевской академии, эту должность он занимал до самой своей смерти в 1776 году.
В 1755 году после смерти своей матери Марии Терезы Альварес де Толедо, 11-й герцоги Альба-де-Тормес, Фернандо де Сильва и Альварес де Толедо унаследовал титул герцога де Альба.