Родился в Морли в ирландской семье.
С 1952 по 1955 годы учился в Королевской академии драматического искусства в Лондоне. Много играл в театре, занимался постановкой Шекспировских произведений.
В кинематографе Брайан известен благодаря роли Клайда Толсона в фильме «Никсон» 1994 года и озвучке Робин Гуда в одноимённом диснеевском мультфильме 1973 года.
В 1971 году получил премию Тони. Лауреат премии «Драма Деск» .Актёр был открытым гомосексуалистом.
В 1985 году он начал жить с актёром Тимом Макдональдом, с которым прожил до конца жизни (за три года до его смерти, в 2013 году, они официально зарегистрировали свой брак).Умер от рака 13 января 2016 года в возрасте 80 лет.