Родился в Мортонхэмпстеде, Девон, 13 июня 1806 года в семье каменщика по имени Уильям Биддер.
С детства отличался необыкновенными способностями к устным вычислениям, ввиду чего его отец привозил его на ярмарки, сначала местные, а после достижения им шестилетнего возраста — и по всей стране, где желающие, предварительно заплатив, могли испытать необычайные способности ребёнка. Его талант приносил отцу прибыль, однако его образованием как таковым в семье пренебрегали.Тем не менее, талантливого мальчика заметил физик и астроном Джон Гершель, который забрал его от отца и устроил в школу в Камбервелле, откуда он был вскоре забран отцом, желавшим продолжать зарабатывать на нём деньги, назад. Однако благодаря вмешательству Генри Жардина он был снова избавлен от своего отца, на этот раз уже навсегда, и смог посещать лекции в Эдинбургском университете.