Родился в Ламбете (ныне район Лондона) в 1779 году. Учился в Королевской военной академии в Вулвиче. 1 августа 1799 года получил офицерский чин в королевской артиллерии, но 20 декабря того же года переведён в инженерные войска.
В 1802 году впервые направлен в Канаду, где участвовал в фортификации города Квебек и в улучшении судоходности реки Святого Лаврентия. Во время Наполеоновских войн вернулся в Европу, где служил под командованием герцога Веллингтона в 1811—1815 годах.По окончании войны Бай ушёл в отставку, но в 1826 году, ввиду его инженерного опыта в Канаде, был направлен туда руководить сооружением канала Ридо. Поскольку начало канала располагалось в не освоенной людьми, малонаселённой долине реки Оттава, его первая задача состояла в сооружении посёлка для строителей и вспомогательного персонала. Город был назван Байтаун в его честь, а позднее был переименован в Оттаву.Помимо канала, в 1828 г. Бай также соорудил Мост Союза, соединявший Байтаун с промышленным посёлком Райтстаун (ныне сектор Халл г. Гатино), который основал Филемон Райт. Ныне на месте того моста находится Мост Шодьер.Канал был закончен через 6 лет и считался инженерным достижением своего времени. Однако Бай был отозван в Лондон по ложному обвинению в растрате средств. Парламентское расследование полностью его оправдало, однако ущерб его репутации был нанесён, и работа Бая по сооружению канала так и не получила официального одобрения. Бай умер в 1836 году и был похоронен в деревне Фрэнт в Восточном Суссексе на юго-востоке Англии.Первый понедельник августа отмечается в городе Оттава как День полковника Бая.
Это официальный нерабочий день в городе.