Родился в семье гугенотского происхождения; его отец умер, когда Браун был маленьким ребёнком, оставив семью в большой нужде.
В детстве Браун был отдан в ученики к гравёру по металлу Финдену, в мастерской которого получил единственное за свою жизнь художественное образование. Он, однако, не был расположен заниматься гравюрой и, получив в 1833 году уважаемую премию от Общества искусств за гравюру John Gilpin, оставил это занятие спустя год, решив полностью посвятить себя живописи.
В 1836 году Браун встретил Чарльза Диккенса, с которым уже был до этого немного знаком, став автором иллюстраций к первому изданию «Посмертных записок Пиквикского клуба» .Более всего Браун известен как автор иллюстраций к первым изданиям целого ряда произведений не только Чарльза Диккенса, но также Чарльза Левера и Харрисона Эйнсворта.
Он продолжал активно работать до 1867 года, пока его не разбил паралич; Браун сумел оправиться и создал после выздоровления несколько гравюр на дереве, однако его здоровье вскоре продолжило ухудшаться.
В 1878 году ему была назначена персональная пенсия от Академии художеств.