Das war schon der Clou seines Konzeptes, das er mit dem Architekten Hans Hollein entwickelt hatte: Die vielfältigen, labyrinthischen Räumlichkeiten des Baus verweigerten die historische Abfolge, und zwischen den Werken wurden andere Verbindungen hergestellt als die der Chronologie. „Dem Besucher ergeht es da“, so Cladders, „wie Hänsel und Gretel: Die merken sich jedes Blümchen, denn sie müssen ja den Weg zurückfinden.“
Das lichte, offene, hierarchiearme Haus läutete, als es 1982 eröffnet wurde, eine neue Ära der Museumsarchitektur in Deutschland ein. Denn es stellte sich einer zeitgenössischen Kunst, die die Beteiligung des Betrachters nicht nur einforderte, sondern auch praktizierte. Wie eine „Stadt in der Stadt“ komponierte Hollein einen vielteiligen Komplex, der verschiedene Gebäudetypen – Turm, Tempel und Fabrikraum – aufnimmt. Der Eingang führt durch einen Glaspavillon eine schmale Treppe hinunter zur Empfangszone, von der mehrere Wege in die fünfzehn Einzelräume abzweigen. Auf drei Ebenen angeordnet, sind sie durch ein raffiniertes System von Treppen verbunden. Die Ausstellungsfläche beträgt 4.000 Quadratmeter.
„Bauformen, die das Kunstwerk ernst zu nehmen anregen und interpretatorisch stützen“, hatte sich Cladders gewünscht und dafür so eng mit Hollein zusammengearbeitet, dass sie und ihre Familien gemeinsam in Urlaub fuhren. Die Vision auf den Weg zu bringen und, mit Kulturdezernent Busso Diekamp als Drittem im Bunde, in der kleinen, 160.000 Einwohner zählenden Großstadt am Niederrhein durchzusetzen, war eine kulturpolitische Überzeugungstat: Der Karnevalswagen „Schrotthändler Cladders, Diekamp & Co.“ hat sie dafür durch den Kakao gezogen.
Doch das kulturelle Flaggschiff der Stadt, das der Architekturhistoriker Wolfgang Pehnt als „Meisterwerk architektonischer Collage“ begrüßte, fand nicht immer den Rückenwind der Kommunalpolitik und havarierte durch die Ebben der Stadtkasse. Zentrale Ladung, darunter „Tallow/Unschlitt“ von Joseph Beuys, wurde von Sammlern abgezogen, Räume mussten, weil Regen eindrang, zeitweise geschlossen werden. Die Sanierung war schließlich überfällig und kostete die Stadt fast fünf Millionen Euro: Die Außenfassade, Terrassen und Stufen wurden vollständig erneuert, das Dach abgedichtet, eine neue Klimaanlage installiert und die Brandschutzmaßnahmen verbessert.