А. В. Гречаный родился 18 (31) августа 1907 года в деревне Красный Яр (ныне Жирновского района Волгоградской области). Отец — Гречаный, Василий Моисеевич — Герой Труда.
В 1924—1929 годах работал слесарем на заводе «Красный Октябрь» в Сталинграде.
В 1929—1932 годах служил на Балтийском и Тихоокеанском флоте.
С 1932 года — артист Краснофлотского театра во Владивостоке.
На сцене с 1932 года.
В 1936—1941 годах в Московском ТРАМе, на киностудии «Союздетфильм» .
С 1946 года — в Театре-студии киноактёра, в 1959—1968 годах — на ЦКДЮФ имени М. Горького. Выступал также с эстрадной деятельностью.
В кино с 1935 года.
В годы Великой Отечественной войны — курсант Военно-политического училища (1942—1943), начальник клуба 2-й дивизии Службы ВНОС.А. В. Гречаный умер 11 апреля 1991 года. Похоронен в Москве на Химкинском кладбище (участок № 24).