Браун вырос со своей семьёй в Шрусбери в Шропшире, у него есть две сестры, Хлои и Фиби.
Он с детства был увлечен актёрской игрой и выступал на сцене мюзик-холла в Шрусбери.
С 2005 года по 2008 год был женат на Полли Роуз.
С 2012 года женат на модели Аннабель Хорси. У них есть двое детей — дочь Лайла Примроуз (род. 13 мая 2013) и сын Рафферти (род. 16 мая 2017).