Дэнни Айелло родился в Нью-Йорке 20 июня 1933 года, в семье, где было ещё пятеро детей. Отец Дэнни был рабочим, а мать — швеёй. Когда с матерью Дэнни случилось несчастье (она ослепла), отец бросил семью. После этого Дэнни всю жизнь осуждал отца за предательский поступок и примирился с ним лишь спустя много лет (в 1993 году), несмотря на это он так и не смог простить его полностью.
С детства Дэнни интересовался киноискусством. Когда будущему актёру исполнилось шестнадцать лет, он решил поступить в американскую армию, где и прослужил в течение трех лет. После Айелло вернулся в Нью-Йорк и там сменил множество рабочих мест (от водителя автобуса до вышибалы в ночном клубе).