Od 1909 Arp przebywał w Szwajcarii, gdzie zetknął się z P. Klee. W 1912 uczestniczył w drugiej wystawie grupy Der Blaue Reiter w Monachium, 1913 — w Pierwszym Salonie Jesiennym w galerii „Sturmu”. Zbliżył się do kręgu W. Kandinskiego. Wybuch wojny zastał go w Paryżu, gdzie 1915 udekorował wnętrza instytutu teozoficznego. W 1916–18, wraz z H. Ballem i T. Tzarą, współtworzył w Zurychu ruch dadaistyczny. Wspólnie z artystami skupionymi w Cabaret Voltaire na przekór i w proteście przeciw trwającej wojnie oddawał się śpiewom, malowaniu, poezji i poszukiwaniu sztuki elementarnej. Wykonywał w tym czasie drewniane reliefy z wyciętych kawałków drewna o jednakowej grubości, które miały w niczym nie przypominać rzeźb. Późniejsze reliefy tworzył z nieobrabianych, przypadkowych kawałków drewna. Także z tego okresu pochodzą abstrakcyjne kolaże i polichromowane reliefy o amorficznych formach (Las 1916). W 1919–20 wraz z J. Baargeldem i M. Ernstem propagował dadaizm w Kolonii, czemu służyło pismo „Schammade”.

Po przeniesieniu się do Francji (1925) związał się z surrealizmem (wziął udział w pierwszej wystawie surrealistów). Współpracował z pismami „De Stijl” oraz „Mecano”. Razem z El Lissitzkim wydał szkic o nowej sztuce Les ismes de l’art (1925). W 1926 Arp otrzymał propozycję wykonania malowideł w restauracji Aubette w rodzinnym Strasburgu. Do współpracy zaprosił T. van Doesburga i żonę, Sophie Tauber-Arp. Razem, ale też niezależnie — każdy tworzył w przydzielonej mu części lokalu, wykonali dadaistyczną dekorację wnętrza w myśl zasad neoplastycyzmu posuniętego do elementaryzmu. Był członkiem grup Cercle et Carré (1930) i Abstraction-Création (1931–34). Od ok. 1930 tworzył kompozycje z dartych i zwijanych papierów, a od 1931 głównie rzeźby, w których dominowały bezprzedmiotowe formy organiczne lub przypominające gładko toczone kamienie (Tors 1931, Kamień uformowany ludzką ręką 1938); w rzeźbach tych dążył do uchwycenia abstrakcyjnej praformy, tkwiącej w naturze.

Lata 1940–45, a więc czas kolejnej wojny światowej, Arp spędził ponownie w Szwajcarii, unikając ewentualnych szykan ze strony okupantów niemieckich, którzy uznali twórczość Arpa za sztukę zdegenerowaną (entartete Kunst). Po śmierci żony (1943) przerwał rzeźbienie i poświęcił się poezji, którą uprawiał już od lat 20.; poezja Arpa (w języku niemieckim i francuskim), usytuowana w nurcie dadaizmu i surrealizmu, jest nacechowana subtelnym humorem. W 1948 opublikował w Nowym Jorku zbiór wierszy i esejów z lat 1912–47 — On my Way. W latach 50. powrócił do rzeźby monumentalnej (relief w Harvard Graduate Center, 1950; rzeźba dla siedziby UNESCO w Paryżu, 1957). W 1959 osiadł w Locarno (Szwajcaria) i ożenił się z Marguerite Hagenbach. Wydał wspomnienia (w języku francuskim) z lat 1920–65. Zmarł 7 VI 1966 w Bazylei.

W 2004 powstało Muzeum H. Arpa — Dworzec Rolandseck koło Bonn, które mieści kolekcję dzieł Arpa i jego żony, Sophie. Muzeum Sztuki w Łodzi posiada ofiarowane 1931 przez Arpa do Międzynarodowej Kolekcji Sztuki Nowoczesnej prace: relief i rysunki.