Леонид Арбузов родился 19 января 1848 года в бывшей столице Курляндии — городе Митаве (ныне Елгава, Латвия). Отец, дворянин Александр Арбузов ( — 1855), подпоручик Русской императорской армии, принадлежал к роду Арбузовых, владевших землями в Новгородской и Псковской губерниях. Мать, Наталья Чудовская, происходит из рода новгородского духовенства, к которым принадлежал прадед Леонида, Иван Чудовский (1765—1838), священник при русском посольстве в Берлине, и дед, Никита Чудовский (1792—1841), офицер русской армии, юрист, позднее служивший на гражданской должности в Лифляндии.После обручения родителей и рождения сына Леонида Наталья Арбузова (Чудовская) возвращается в родной дом в Митаву, где в августе 1848 погибает от холеры. Отец постоянно находится в расположении действующей армии и лишь дважды получает длительный отпуск для встречи с семьей. Заботу о ребёнке берёт на себя подруга Натальи Чудовской, Феодосия Паукер, супруга Магнуса-Георга Паукера (1787—1855). После смерти Магнуса-Георга образованием юного Леонида Арбузова занимается Карл Паукер, сын Магнуса-Георга от первого брака. Леонид был сильно привязан к своей приёмной матери и её родне, и воспитывался в традициях семей балтийских немцев. Языком общения, учёбы и, впоследствии, научной работы Леонида Арбузова был немецкий.
С детства юного Леонида более привлекали книги, чем игры с другими детьми.Его обучение началось с частной немецкой школы в Митаве и продолжилось в Выборге, Митаве и Дерпте.
С 1867 года он изучал зоологию в Дерпте. Затем Арбузов изучал медицину в Лейпциге, а с 1871 года — в Дерпте.
В 1871—1876 годах он был студентом Геттингенского университета. Первые три года Арбузов изучал естественные науки, а последние три — историю под руководством Геогра Вайца.
В 1877—1885 годах Арбузов работал учителем естествознания в уездной школе в Бауске.
В 1884 году он женился в Бауске на Ольге Аншютц, которая родила ему сына, будущего латвийского и немецкого историка Леонида-Ганса-Николая Арбузова.
В 1885—1888 годах Арбузов был инспектором уездных школ Тукумса. Впоследствии он работал частным учителем в Митаве.
В 1889 году Арбузов стал членом-корреспондентом Общества истории и древностей Прибалтийского края, а в 1893 году получил полноправное членство.
В 1893 года он переехал в Ригу, где жил до самой смерти.
С 1894 года Арбузов был сопредседателем Общества истории и древностей Прибалтийского края.
Он работал во 2-м отделе общества, изучал ливонскую историю, специализировался на ливонских грамотах.
В 1898 году Арбузов стал членом-корреспондентом, а с 1909 года — почетным членом Генеалогического общества балтийских губерний. Также в 1900 году он был членом-корреспондентом Общества литературы и искусства Курляндии.
Он первым собрал биографическую базу данных о людях средневековой Ливонии — более 1 тысячи рыцарей Ливонского ордена и 5 тысяч священнослужителей.Леонид Арбузов умер 14 января 1912 года и похоронен в Риге на кладбище Зассенхоф.