Окончил Михайловское артиллерийское училище, из которого был выпущен в 1843 году прапорщиком.
В том же году поступил в конную артиллерию и вскоре был причислен к штабу генерал-фельдцейхмейстера, откуда в 1849 году назначен состоять при Великом Князе Михаиле Павловиче.
В 1849 году участвовал в подавлении Венгерской буржуазной революции.По смерти Великого Князя был командирован для производства опытов над конгреговыми ракетами на Кавказ, и за успехи в испытаниях был произведён в штабс-капитаны. Оставаясь на Кавказе два года, участвовал во многих экспедициях Дагестанского отряда (1852).
С началом Крымской войны (1853—1856) Баллюзек состоял при штабе артиллерии Дунайской армии, а при обороне Севастополя был одним из помощников начальника артиллерии крепости.Вслед за тем, Баллюзек имел случай два раза посетить Китай и Японию, сопровождая туда миссию адмирала Путятина и генерала Игнатьева.
С февраля 1860 года — флигель-адъютант.Февраль 1861 — август 1863 года — министр-резидент при пекинском дворе, первый постоянный дипломатический представитель России в Китае (до этого роль постоянного представительства выполняла Русская духовная миссия в Пекине). Вместе с послом США Ансоном Бёрлингеймом настаивал на политике невмешательства европейских держав в дела Китая и признание за Китаем права на равное участие в политическом процессе. Дипломаты, занявшие эту позицию, назывались «the Four B"s» по первым буквам фамилий: Burlingame, Bruce (Великобритания), Balluzeck, Berthemy (Франция). При нём была начата подготовка китайских солдат российскими инструкторами в Кяхте, также Китаю было поставлено оружие (1861—1862).
С должности министра-резидента был уволен по болезни с оставлением в звании.
В 1865 году он был направлен на службу в Оренбург, где был назначен Начальником областного киргизского управления (современный Западный Казахстан).
Он провёл в регионе 12 лет, осуществив значительную работу по административной организации области согласно родоплеменной структуре казахов, по организации школ и просвещению казахов.27 марта 1866 года получил чин генерал-майора и зачислен в Свиту Его Императорского Величества.
С января 1868 года стал первым председателем Оренбургского отдела Русского Географического Общества.
С января 1869 по февраль 1877 года был военным губернатором только что созданной Тургайской области.19 февраля 1877 года произведен в генерал-лейтенанты.
С 1877 года был членом Попечительского совета учреждений общественного призрения в Санкт-Петербурге, попечителем Обуховской больницы..