Родился 8 июля 1924 года в Фэрмонт, штат Западная Виргиния.Играть на фортепиано начал в 1928 году. Во время Второй мировой войны служил в армии США в корпусе морской пехоты, где был членом военного джаз-оркестра Bobby Troup. После службы в армии переехал в Детройт, штат Иллинойс, а затем в Чикаго, где работал со многими выдающимися артистами, включая Мадди Уотерса и Литтла Уолтера.
В 1952 году Джонсон переехал в Сент-Луис, штат Миссури, где организовал сразу две группы, играющие джаз и блюз. Здесь он познакомился с Чаком Берри, который часто выступал в его коллективах. Чак Берри и Джонни Джонсон выступали вместе до 1973 года, позже они работали эпизодически до самой смерти Джонсона в 2005 году.У Джонсона были серьезные проблемы с алкоголем и полностью бросил пить в 1991 году, почти после перенесенного инсульта, выступая на сцене вместе с Эриком Клэптоном.Умер 13 апреля 2005 года в Сент-Луисе, похоронен на кладбище Jefferson Barracks National Cemetery. Его имя увековечено на Сент-Луисской «Аллее славы» .