Родился в семье шотландского врача Белла.
С детства был разносторонним ребёнком, ему давались как прикладные, так и гуманитарные науки, хотя предпочтение отдал физике и химии. Особым увлечением Белла было изучение влияния ядов на организм человека, для чего в его доме имелась специальная лаборатория.Став врачом, Джозеф Белл быстро стал популярен в Эдинбурге, поскольку много работал и не отказывал в помощи людям с невысоким достатком. Умел точно определить профессию и характер своих пациентов и всегда советовал своим студентам пользоваться глазами, слухом, обонянием в той же мере, что и мозгом.
К примеру, по разрывам на брюках определял, что его пациент — сапожник-левша или по запаху догадывался, что перед ним — лакировщик. Порой врач имел непосредственное отношение к детективной работе: например, когда Джек Потрошитель в 1888 году убил свою четвертую жертву в Лондоне, Скотланд-Ярд консультировался у Белла.Был высоким, жилистым человеком, с темными волосами, внимательными глазами, худыми плечами, дергающейся походкой и резким голосом; курил трубку. Химические опыты проводил независимо от того, насколько был загружен в университете и лечебной практике.Артур Конан Дойл познакомился с Беллом в 1877 году. Позже Белл взял молодого врача к себе в ассистенты в Эдинбургской клинике, где Дойл ежедневно наблюдал за ним.
К 50-му дню рождения своего наставника Дойл издал первый рассказ про Шерлока Холмса — вымышленного персонажа, который впоследствии сделался участником целого цикла популярных историй с детективным сюжетом. Прототипом сыщика, как неоднократно заявлял сам Дойл, был доктор Джозеф Белл с его особым методом. Белл был в курсе писательского дебюта ученика и с гордостью отзывался о нём.Лекции Белла привлекали многих людей, его часто вспоминали и другие сокурсники Дойла, которые стали впоследствии известными писателями: Джеймс Бэрри, который наиболее известен как автор «Питера Пэна» и Роберт Льюис Стивенсон. Причём Стивенсон, который жил на Самоа в 1893 году, впервые прочитав рассказы Конан Дойла спросил его в письме: «Уж не мой ли это старый добрый друг доктор Джо» Ответ был таким: «Он внебрачный ребёнок Джо Белла и месье Дюпена По (сильно разбавленный)» .