Питер Эдвард Кларк родился в Ланкашире, Англия, в рабочей семье. Его мечтой было заняться изучением изобразительного искусства в Liverpool Polytechnic. Отец, рабочий-столяр, возражал, требуя, чтобы сын нашёл себе «настоящую работу» .
С детства он любил птиц и своё прозвище получил именно за это, когда снимал квартиру с Холли Джонсоном и Полом Рутерфордом в Ливерпуле.Баджи начал свою музыкальную карьеру в группах Spitfire Boys и Big in Japan, затем перешедший в The Slits и записал с группой альбом Cut. «Мужчина, выживший в Slits, выживет где угодно» , — замечал по этому поводу корреспондент Guardian.
В состав Siouxsie & the Banshees он был приглашён в сентябре 1979 года в ходе Join Hands-тура, когда из группы неожиданно ушёл Кенни Моррис. Первым для Баджи стал альбом Kaleidoscope, после которого он стал постоянным участником коллектива и оставался таковым вплоть до его распада в 1996 году.
В 1981 году Баджи и Сьюзи образовали сторонний проект, дуэт The Creatures. Баджи также записывался с Indigo Girls (альбом Rites of Passage, 1992), гастролировал с Джоном Кейлом (американский тур 1998 года) и Juno Reactor (2009).
В 2012 году принял участие в записи пластинки Piramida датской группы Efterklang и занял место ударника в коллективе на время мирового турне в поддержку альбома.