Родился в 1817 году в Ирландии, ещё ребёнком был привезён своим отцом в Америку, где последний поселился в штате Кентукки. Будучи молодым человеком, он совершил на китоловном судне путешествие вокруг света, которое описал в книге под заглавием: «Etchings of a whaling cruise, with notes of are sidence on the island of Zanzibar» .
В 1849 году он посетил Калифорнию, в 1851 году, в качестве газетного корреспондента, отправился в Европу, объехал Италию, Сицилию и Палестину и в 1853 году издал книгу «Yusuf» , в которой дал описание этих путешествий. Затем, правительство Соединённых Штатов отправило его в качестве таможенного чиновника на северо-восточный берег Тихого океана. Плодом его пребывания здесь было сочинение «Adventures in the Apache country» .
В 1861 году Броун снова отправился в Европу и объехал, кроме Германии, Польши и России, также Исландию и Алжир. Отчет об этих путешествиях напечатан в иллюстрированных самим автором сочинениях: «The land of Thor» и «An american family in Germany» .
В 1868 году он был назначен посланником в Китае, но в 1870 году отозван оттуда.Умер в 1875 году.Его художественный стиль повлиял на таких авторов, как Марк Твен и Брет Гарт.