Представитель саксонского дворянского рода Брюль. Старший сын графа Генриха фон Брюля (1700—1763), первого министра Саксонии и фаворита польского короля Aвгуста III Веттина, и Марии Анны Коловрат-Краковской (1717—1762).Получил образование в университетах Лейпцига и Лейдена.
В 1750 году Алоизий Фредерик фон Брюль получил должность старосты варшавского, которую ранее занимал воевода русский, князь Август Александр Чарторыйский, что вызвало недовольство польской дворянства.
В 1757 году после переезда в Польшу стал командующим панцирной хоругви.
В 1758 году был избран послом на сейм от Закрочимской земли. Участвовал в Семилетней войне с Пруссией на стороне Саксонии.
В 1760 году Алоизий Фредерик фон Брюль участвовал в посольстве в Вену, весной 1762 года был отправлен в Санкт-Петербург, где поздравлял Петра III Фёдоровича с вступлением на императорский престол.
В 1761 году был награждён орденом Белого Орла и был вторично избран послом на сейм от Черской земли. Во время парламентской сессии 1762 года подвергся нападкам со стороны стольника великого литовского Станислава Антония Понятовского, сторонника партии «Фамилия» , который утверждал, что Алоизий Фредерик фон Брюль, не являясь польским дворянином, не имеет права заседать в посольской избе.30 марта 1763 года получил чин генерала коронной артиллерии, которую раньше занимал его отец.
В 1764 году поддержал избрание Станислава Августа Понятовского на польский королевский престол.
В качестве награды Станислав Понятовский пожаловал польское дворянсство и подтвердил за ним все занимаемые должности в Речи Посполитой.
В 1765 году предложил сейму проект реформирования артиллерийского корпуса, бюджет которого был увеличен до 360 тысяч злотых.Во время Барской конфедерации (1768—1772) Алоизий Фредерик фон Брюль находился в Дрездене.
В 1768 году в качестве старосты варшавского добился строительства канализации и создания пожарной службы в польской столицы. Сейм 1773—1775 годов расширил полномочия Брюля, передав ему контроль над крепостями Речи Посполитой.
В 1777 году был награждён орденом Святого Станислава.
В 1766 году Алоизий Фредерик фон Брюль основал артиллерийскую школу.
Он реформировал организацию артиллерийской подготовки, ввел изменения в подготовке артиллеристов и офицеров. Позднее он получил под своё командование малопольскую дивизию и чин генерал-лейтенанта. Проводил военные учения, сочетая кавалерию, пехоту и артиллерию. Первые маневры произошли в 1776 году под Каменцем-Подольским.
Он заботился о развитии и поддержания в должном состоянии опорных пунктов (крепостей) Речи Посполитой.
В 1775 году участвовал в создании инженерного корпуса.
В 1780 году Алоизий Фредерик фон Брюль был включен в состав Постоянного Совета и стал членом военного департамента.
В 1775 году создал артиллерийскую школу при польском артиллерийском корпусе, которая выпустила около 400 подготовленных офицеров.
В 1788 года продал свой патент генерала коронной артиллерии богатому магнату Станиславу Щенсному Потоцкому за 20 тысяч дукатов.Занимался благотворительностью.
В 1785 года основал в Варшаве для бедных ткацкую фабрику, где они шили чулки для армии. Также сделал свой вклад в создании первой в Речи Посполитой клиники для безопасной вакцинации больных ветряной оспой.После смерти своего сына и второй жены Алоизий Фредерик фон Брюль продал все свои польские имения. Вскоре после этого женился в третий раз и в 1790 году переехал в Саксонию, где поселился в Бродах. 27 января 1793 года скончался в возрасте 53 лет, по дороге в Берлин.Был автором множества комедий, писал на французском, немецком и польском языках.