Апшер родился в округе Нортхемптон, Виргиния, в семье Литтлетона Апшера и Анны Паркер.
Он был одним из двенадцати детей. Его отец, верный Федералистской партии, был владельцем плантации и членом Законодательного собрания Виргинии и капитаном во время Англо-американской войны.Апшер обучался в Йельском и Принстонском университетах, но был отчислен за участие в студенческом восстании. После он уехал в Ричмонд, Виргиния, чтобы изучать право.
В 1810 году Апшер был принят в коллегию адвокатов, но вскоре после смерти отца вернулся в Виргинию, где стал заниматься юридической практикой.26 февраля 1817 года Абель Апшер женился на Элизабет Деннис, которая умерла во время родов в октябре 1817 года.
В 1824 году он женился на Элизабет Энн Браун, которая родила ему дочь.