Карлхайнц Бём — единственный ребёнок в семье оперной певицы Теи Линхард и дирижёра Карла Бёма.
В 1946 году переехал с родителями в Грац. Карлхайнц хотел стать пианистом, но по настоянию отца изучал англистику и германистику, затем прервал обучение ради актёрской карьеры.
В 1960 году снялся в роли серийного убийцы в неоднозначно воспринятом фильме Майкла Пауэлла «Подглядывающий» . Бём заключил контракт с голливудской MGM, но не добился популярности и вернулся в Европу.
В 1970-е годы успешно работал с Райнером Вернером Фасбиндером.
В браке с Элизабет Цоневой у Бёма родилась дочь. Второй супругой стала актриса Гудула Блау, с которой у Бёма родилось трое детей, в том числе актриса Кристина Бём.
В третий раз Бём женился на Барбаре Ласс, в этом браке родилась актриса Катарина Бём.
С 1991 года Карлхайнц Бём был женат на Алмац Бём, эксперте в области сельского хозяйства из Эфиопии, которая с 2008 года возглавляет мюнхенское отделение фонда «Люди для людей» . У них двое детей. Старший внук Бёма Флориан также стал актёром.