Происходил из молдавских дворян. Родился в семье мелкого чиновника.
С раннего детства играл по слуху на скрипке и гитаре.
В десять лет его отдали в придворную певческую капеллу в Санкт-Петербурге. Отличный голос и яркие способности помогли поступить в капеллу.Д. С. Бортнянский — директор капеллы.
Он стал отдельно заниматься с маленьким певцом. Впоследствии Варламов с благодарностью вспоминал своего учителя в своих письмах и записках.Окончив учение в капелле, стал учителем пения в русской посольской церкви в Голландии, но вскоре вернулся на Родину.
В 1827 году познакомился с М. И. Глинкой, бывал на музыкальных вечерах в его доме,С 1829 жил в Петербурге.
В 1832 году переехал в Москву, где получил место капельмейстера, а затем «композитора музыки» московских императорских театров. Нередко выступал как певец-исполнитель.
В конце 1828 или начале 1829 года стал хлопотать о вторичном поступлении в певческую капеллу, причём поднёс императору Николаю I две херувимских песни — первые известные нам его сочинения. 24 января 1829 года был определён в капеллу в число «больших певчих» , причем на него была возложена обязанность обучать малолетних певчих и разучивать с ними сольные партии.
К началу 1833 года относится появление в печати сборника девяти романсов.
В 1840 году издал пособие по вокальному искусству, которое называлось «Школа пения» , пособие сыграло важную роль в обучении многих русских певцов.
В 1848 году скончался от рака горла.