Ранние годыТом Бейкер родился в Ливерпуле в семье Мэри Джейн и Джона Стюарта Бейкера. Бейкер хотел стать монахом.
В 15 лет он покинул школу и принял постриг.
Он оставался в монастыре в течение шести лет, но покинул его, когда потерял веру. Тогда он пошёл служить в Королевский Армейский Медицинский корпус, где провёл два года (1955—1957). Именно в то время он начал увлекаться актёрским искусством.Личная жизньПервой женой Бейкера стала Анна Веткрофт, на которой он женился в 1961 году.
В этом браке у Бейкера родились двое сыновей — Дениел и Пирс. Когда они расстались в 1966 году, Бейкер потерял контакт с сыновьями, пока случайно не встретил Пирса в пабе в Новой Зеландии.
Это помогло им возобновить отношения.
В декабре 1980 года Бейкер женился во второй раз — в этот раз на Лалле Ворд, с которой он познакомился на съёмочной площадке Доктора Кто (она играла его спутницу Роману). Однако их брак длился всего 16 месяцев.
В 1986 году он женился в третий раз. Его женой стала Элизабет Сплуйден, с которой он познакомился ещё до монастыря. Вместе они переехали в маленький посёлок Ботон Малерб в графстве Кент. Там они жили в домике пастора, и Том иногда принимал участие в хоровом пении.
В 2002 году они эмигрировали во Францию, а в ноябре 2006 года вернулись в Англию. Их брак длится до сих пор.
В 2016 году Том и Элизабет расстались.
Это стало большим ударом для Бейкера и его кошек.