Отец — немец из Киля, мать — родом из Эльзаса. Арп учился в Страсбургской школе искусств и ремесел, в 1908 году — в Академии Жюлиана в Париже.
В 1912 году познакомился в Мюнхене с Кандинским, работал над альманахом экспрессионистов «Синий всадник» . Начал публиковаться как поэт.
В 1914 в Кёльне познакомился с Максом Эрнстом, в том же году встретился в Париже с Аполлинером, Пикассо, Модильяни, Соней и Робером Делоне.
В 1915 в Цюрихе стал одним из зачинателей дадаизма. Иллюстрировал книги сотоварищей — Тристана Тцара, Бенджамена Пере, Рихарда Хюльзенбека.
В 1917 начал заниматься скульптурой.
В 1920 познакомился в Берлине с Лисицким и Куртом Швиттерсом.
В 1924 г. переезжает в Париж, знакомится с Мондрианом. Вошёл в круг сюрреалистов, был близок к абстракционизму. C 1925 вместе с женой, художницей Софи Тойбер, поселился в городке Кламар, на границе Мёдонских лесов, к юго-западу от Парижа. Написал сценарий фильма Ханса Рихтера «День как день» (1929 г., в одной из ролей снялся С. Эйзенштейн).
В 1940—1946 гг., спасаясь от гитлеровцев, жил в Швейцарии, затем снова в Кламаре.
В 1959 г. обосновался в Сольдуно, под Локарно.