Учился в Московской духовной академии. Вместе с братом С. И. Баршевым и И. В. Платоновым был направлен с последнего курса в Санкт-Петербург для обучения правоведению. Причисленный ко II отделению Собственной Е. И. В. Канцелярии, Я. И. Баршев под руководством М. М. Сперанского и других правоведов занимался изучением правоведения (1829—1831).
В службу вступил 27 марта 1831 года и был командирован в Германию «для усовершенствования в юриспруденции» . По возвращении из зарубежной командировки в 1835 году защитил докторскую диссертацию на тему: «Догматико-критическое изложение так называемых уголовных теорий» .
В 1834 году был назначен членом комиссии для перевода Свода законов на немецкий язык.
В 1835 году назначен профессором Санкт-Петербургского университета по кафедре русских уголовных и полицейских законов. Одновременно Я. И. Баршев преподавал в Александровском лицее, Пажеском корпусе и в Училище правоведения.
С 28 сентября 1855 года — действительный статский советник.
С конца 60-х годов он оставил педагогическую деятельность, перейдя на государственную службу при кодификационном отделе Государственного совета.
На этой должности состоял до 1893 года.
В связи с упразднением отдела вышел в отставку.Сферу научных интересов Я. И. Баршева составляли проблемы уголовного права.Помимо вклада в разработку проблем науки уголовного судопроизводства Я. И. Баршев был первопроходцем в исследованиях науковедческих проблем правовой науки, одним из первых обобщил опыт деятельности Императора Николая I и Второго отделения Е. И. В. Канцелярии по формированию в России контингента русских специалистов, способных вести на высоком научном уровне исследования в области права и читать лекции студентам юридических вузов.
В ходе проверки деятельности юридического факультета Санкт-Петербургского университетов в 1828 году, где лекции по юриспруденции читались иностранцами, не знающими русского языка, был сделан однозначный вывод — юридического факультета не существует.Поэтому Николаем I по докладу М. М. Сперанского был взят курс на формирование профессуры из числа подданных Российской Империи, владеющих русским языком. Были отобраны лучшие студенты духовных академий, которым было предложено овладеть юридическими науками в России и продолжить обучение за рубежом: в Германии, Франции и Англии.
В 1832 и 1834 годах, 15 выпускников юридических вузов, получивших российское и зарубежное образование, приступили к чтению лекций в юридических вузах России.Этот путь формирования российской профессуры был весьма плодотворным. России удалось не только развить свои национальные кадры, но и продвинуть вперёд юридическое образование и юридическую науку.Как отмечал Я. И. Баршев, молодые профессора принесли с собой основательные знания отечественного права, знания права иноземного, полное знакомство с общими, основными началами науки права.Другой важный шаг, сделанный II отделением Собственной Е. И. В. Канцелярии по развитию правовой науки и преподаванию национального права, состоял в подготовке и издании Полного собрания законов Российской Империи и Свода законов Российской империи, в которые вошли все действующие на тот момент законы, изданные в течение 180 лет.Принимаемые на протяжении столь длительного времени законодательные акты не были доступны не только населению, но и работникам юстиции. Как справедливо подчёркивал Я. И. Баршев, попытки систематизировать акты предпринимались и раньше, но все они завершались лишь обобщением незначительного числа актов. Поэтому значимость проведённой полной систематизации трудно переоценить. Именно благодаря Полному собранию законов и Своду законов государственные служащие были обеспечены источниками действующих нормативных актов, а русская профессура возможностью вести догматическую обработку законодательства, формировать понятийный аппарат правовой науки и делать некоторые нормативные обобщения в сфере отдельных отраслей права и российского правоведения в целом.