В 1979 году окончил Орджоникидзевское высшее общевойсковое командное училище имени Маршала Советского Союза А. И. Еременко. Служил в Группе Советских войск в Германии и в Дальневосточном военном округе. Прошёл путь от командира мотострелкового взвода до командира мотострелкового батальона.
В 1990 году окончил Военную академию имени М. В. Фрунзе.
В 1990—1992 годы продолжил службу в Закавказском и Дальневосточном военных округах на должностях заместителя командира и командира мотострелкового полка.
В 1992—1997 годы занимал должность начальника штаба — заместителя командира мотострелковой дивизии.
С 1997 по 2001 занимал должность командира мотострелковой дивизии.
В 2003 году окончил Военную академию Генерального штаба Вооружённых Сил. Служил на должностях заместителя командующего 41-й армией, начальника штаба — первого заместителя командующего 36-й армией.3 января 2006 года был назначен командующим 41-й армией (г.Новосибирск) в Сибирском военном округе.8 апреля 2008 года был назначен заместителем командующего войсками Сибирского военного округа.3 декабря 2008 года назначен начальником штаба — первым заместителем командующего войсками Сибирского военного округа.13 января 2010 года назначен командующим войсками Северо-Кавказского военного округа.10 декабря 2010 года указом Президента РФ назначен на должность командующего войсками Южного военного округа.11 июня 2011 года присвоено воинское звание «генерал-полковник» .17 марта 2014 года включён Евросоюзом в санкционный список лиц, у которых в ЕС замораживаются активы и в отношении которых введены визовые ограничения.
В конце августа 2015 года Служба безопасности Украины заявила, что через штаб Южного военного округа, возглавляемый Галкиным, Генштаб ВС РФ руководит российскими войсками в вооружённом конфликте на востоке Украины.
В июне 2016 года освобождён от должности командующего войсками Южного военного округа.
С января 2017 года продолжает службу в центральном аппарате Министерства обороны России в должности помощника Министра обороны.