Чарлз Бэббидж родился 26 декабря 1791 года в Лондоне в семье банкира Бенджамина Бэббиджа и Элизабет Тип (англ. Teape).
В детстве у Чарльза было очень слабое здоровье.
В 8 лет его отправили в частную школу в Альфингтоне на воспитание священнику.
На тот момент его отец уже был достаточно обеспечен, чтобы позволить обучение Чарльза в частной школе. Бенджамин Бэббидж попросил священника не давать Чарльзу сильных учебных нагрузок из-за слабого здоровья.После школы в Альфингтоне Чарлз был отправлен в академию в Энфилде, где по существу и началось его настоящее обучение. Именно там Бэббидж начал проявлять интерес к математике, чему поспособствовала большая библиотека в академии.После обучения в академии Бэббидж обучался у двух репетиторов. Первый был священником, жившим возле Кембриджа. По словам Чарльза, священник не дал бы ему тех знаний, который он мог получить, обучаясь у более опытного репетитора. После священника у Бэббиджа был репетитор из Оксфорда.
Он смог дать Бэббиджу основные классические знания, достаточные для поступления в колледж.
В 1810 году Бэббидж поступил в Тринити-колледж в Кембридже. Однако основам математики он обучался самостоятельно по книжкам.
Он тщательно изучал труды Ньютона, Лейбница, Лагранжа, Лакруа, Эйлера и других математиков академий Санкт-Петербурга, Берлина и Парижа. Бэббидж очень быстро обогнал своих преподавателей по знаниям и был сильно разочарован уровнем преподавания математики в Кембридже. Более того, он заметил, что Британия в целом заметно отстала от континентальных стран по уровню математической подготовки.
В связи с этим он решил создать общество, целью которого являлось внесение современной европейской математики в Кембриджский университет.
В 1812 году Чарлз Бэббидж, его друзья, Джон Гершель (John Herschel) и Джордж Пикок (George Peacock) и ещё несколько молодых математиков основали «Аналитическое общество» . Они стали проводить собрания. Обсуждать различные вопросы, связанные с математикой. Начали публиковать свои труды. Например, в 1816 году они опубликовали переведённый ими на английский язык «Трактат по дифференциальному и интегральному исчислению» французского математика Лакруа, а в 1820 году опубликовали два тома примеров, дополняющих этот трактат. Аналитическое общество своей активностью инициировало реформу математического образования вначале в Кембридже, а затем и в других университетах Британии.
В 1812 году Бэббидж перешёл в колледж Св. Петра (Peterhouse), а в 1814 году он получил степень бакалавра.
В 1816 году он стал членом Королевского Общества Лондона.
К тому времени им было написано несколько больших научных статей в разных математических дисциплинах.
В 1820 году он стал членом Королевского общества Эдинбурга и Королевского астрономического общества.
В 1827 году он похоронил отца, жену и двоих детей.
В 1827 году он стал профессором математических наук в Кембридже и занимал этот пост в течение 12 лет. После того, как он покинул этот пост, он большую часть своего времени посвятил делу его жизни — разработке вычислительных машин.Последние годы жизни Бэббидж посвятил философии и политической экономии.Чарлз Бэббидж умер в возрасте 79 лет 18 октября 1871 года. Похоронен на кладбище Кенсал Грин (англ. Kensal Green Cemetery) в Лондоне.Мозг Чарлза Бэббиджа был извлечен после его смерти и в течение 36 лет хранился в музее Хантера в Глазго. Впоследствии он был препарирован профессором Чарльзом Стюартом. Британское Королевское общество искусств опубликовало результаты и фотографии препарации в книге «Описание мозга мистера Чарлза Бэббиджа» (Description of the Brain of Mr. Charles Babbage)