Mehrere Gründe werden für den Niedergang des Unternehmens in den Folgejahren nach dem Bau des Herrenhauses genannt: die Brüder hatten laut Testament ihres Vaters innerhalb von fünf Jahren nach seinem Tod an die fünf Schwestern und einen Enkel jeweils 10.000 Gulden auszuzahlen. Zudem wirkten sich die Handelsbeschränkungen im Zuge der französischen Revolution in den 1790er Jahren aus und möglicherweise hatte man sich auch mit dem Bau des zu kostspieligen Wohnsitzes in Hasten übernommen. 1796 mussten die Brüder Hilger Zahlungsunfähigkeit anmelden, konnten aber zunächst unter Pfändung des Henshammers im Gelpetal ein Moratorium erwirken. Peter Caspar Hilger wanderte 1799 in die Gegend von Danzig aus und starb dort unter Hinterlassung hoher Schulden 1803. Schon 1802 war das Haus in Hasten erfolglos zur Versteigerung angeboten worden und wurde im Jahr darauf an einen Schwager Johann Peter Hilger d. Älteren, an Johann Arnold Diederichs verpachtet. Nach 1809 übernahm der auch zuvor schon in einem der Häuser wohnende Georg Hinrich Sonntag den Komplex. Der aus Hamburg stammende Senatorensohn Sonntag war Schwager des jüngeren Johann Peter Hilger und wurde 1811-14 Bürgermeister von Remscheid. Es wird vermutet, dass schon vor der Wende zum 19. Jahrhundert in den Nebengebäuden des Hauses an der Cleffstraße eine Baumwollzeug-Manufaktur eingerichtet wurde. Sonntag war an dieser Manufaktur zunächst beteiligt und übernahm sie dann – ebenso wie das Herrenhaus – in seine alleinige Obhut(Lorenz, 1987, S. 18f).
Georg Hinrich Sonntag blieb bis 1829 in Remscheid. Dann wurden Haus und Nebengebäude an den aus Elberfeld stammenden Wilhelm Uhlenberg verkauft und über mehrere Jahre hinweg vermietet.
Nur wenig später jedoch übernahm Richard Lindenberg um 1900 die Bauten an der Cleffstraße. Lindenberg war einer der Tiegelstahl-Hersteller im Bergischen Land, hatte schon 1847 probeweise die Fa. J. A. Henckels in Solingen mit Tiegelstahl beliefert und 1863, nachdem ein Feuer die Altanlagen zerstört hatten, unweit der Cleffstraße am Hammesberg eine neue Fabrik errichtet. Richard Lindenberg richtete nach Erwerb des Hauses Hilger /Cleff in dem Doppelhaus zwei Wohnungen, für Direktor Pocher und den Prokurist Alfred Pohl, ein. 1904 gelang ihm mit dem Erwerb des Patents zur Elektrostahlerzeugung und dem Bau der ersten fabrikmäßigen Erzeugungsanlage nach der Erfindung des französischen Ingenieurs Paul Héroult eine geradezu epochale Leistung in der Metallgrundindustrie. Richard Lindenberg starb 1925 bei einem Flugzeugabsturz. Sein Unternehmen wurde 1927 verschmolzen mit den Vereinigten Stahlwerken, dem größten damaligen europäischen Montantrust und war Teil der unter dem Namen Deutsche Edelstahlwerke firmierenden Edelstahlgruppe in diesem riesigen Unternehmensverbund.
Ebenfalls 1927 wurden die Häuser Cleffstraße 2-6 durch die Edelstahlwerke an die Stadt Remscheid verkauft. In den Häusern wurde ein Heimatmuseum eingerichtet, das mit einer Erweiterung von 1937 hinter dem Bürogebäude und einem translozierten und hinter dem Doppelhaus wiederaufgebauten Schleifkotten(1959) 1967 zum Deutschen Werkzeugmuseum avancierte. In den 1990er Jahren wurde das Museum mit einem Neubau unter Nutzung der Shedhalle von 1897 neu eingerichtet. Das Doppelwohnhaus dient weither als Schauobjekt bürgerlicher Wohnkultur und beherbergt Büro- und Verwaltungsräume des Museums.
Entsprechend seiner Funktion als Doppelhaus sind in der Straßenfassade zwei dominant die Architektur beherrschende Hauseingänge über zwei doppelläufigen Freitreppen angeordnet. Die doppelflügligen Haustüren werden gerahmt durch profiliertes Holzwerk, reich mit Rocailleformen verzierte Oberlichte und Supraporten mit den Wappen von Rußland (Haus 4) und Holland (Haus 2). Beide Portale werden flankiert von gespindelten Halbsäulen in Holz mit korinthischen Kapitellen. Die beiden Achsen der Hauszugänge werden zusätzlich betont durch die in die Vorderansicht der Freitreppen einbezogenen, doppelfügligen Tore zu den Kellerabgängen und im Dach durch festlich umrahmte und in ihren Größen gegenüber den begleitenden Gauben hervorgehobene Zwerchhäuser.
In den Seitenfassaden werden die Mittelachsen durch Pilaster gerahmt und ebenfalls von Zwerchhäusern bekrönt.
Alle Fenster und Gauben sind mit profiliertem Rahmenwerk und Blendläden versehen. Die Fenster der Hauptgeschosse zeigen mittig im Sturz Zierrahmen und geschnitzte, arabeskenartige Rocaille- und Blumenmotive. Gliedernde und schmückende Fassadenelemente ebenso wie die kleinteiligen Schiebefenster mit je 24 Glasscheiben in den Hauptgeschossen sowie die Flügelfenster in den Gauben mit Umrahmungen und Überdachungen heben sich gegen den dunklen, blaugrauen Grundton der Schieferbekleidung durch weißen Anstrich kräftig ab. Die Blendläden sind grün, die Türen dunkelgrün gestrichen. Zum Farbkanon trägt das blasse Gelb des Sockelgeschosses und der Freitreppen verhalten bei.
Abweichend von der symmetrischen Gesamterscheinung des Baukörpers sind die Einzelhäuser ungleichmäßig aufgeteilt mit einem breiten, repräsentativen Eingangsbereich hinter den außermittig zu den dahinterliegenden Grundrissen angeordneten Haustüren. Entlang der äußeren, schmalen Giebelseiten liegen dreiraumtief die untereinander verbundenen Salons, wobei der Mittelraum deutlich kleiner ist, als die zu Straße und Garten gelegenen Haupträume. Der Mittelraum diente vermutlich mit schmalen, abgeteilten Kabinetten zur Beheizung der Öfen(Ofenladeräume) in den beiden Hauptsalons(Krielke, 2004, S. 60).
Vom Eingangsbereich her heute nur vom Haus 4 zugänglich ist der Raum direkt rechts hinter der Eingangstür(sog. Biedermeierzimmer). Dieser, über beide Häuser von Diele zu Diele sich erstreckende Raum, könnte früher das gemeinsame Kontor der Gebrüder Hilger gewesen sein. Die Tür zu diesem Raum vom Haus 2 ist im dortigen Eingangsbereich noch vorhanden aber nicht mehr nutzbar. Zwischen Kontor(Biedermeierzimmer) und Küche liegen unbelichtete Räume wohl für die Speise- und Vorratskammern, möglicherweise auch ausgestattet mit einem Speiseaufzug zu dem darüber gelegenen großen Salon(Krielke, 2004, S. 46).
Im Obergeschoß sind über den Erdgeschoßsalons entlang der Schmalseiten wieder über die ganze Haustiefe verteilt, die Schlaf-, Kinder- und Herrenzimmer angeordnet. Zentrale Position im Obergeschoß hat der zur Vorderfront liegende, über vier Fensterachsen reichende und ursprünglich mit Schiebe- und Flügeltüren zu unterteilende große Salon, der über die Cleffstraße hinweg einen grandiosen Blick über die Wälder bis hin nach Wuppertal-Cronenberg bietet. Großer Salon und die Obergeschoßzimmer im Haus 2 sind stärker für die Museumsnutzung u. a. mit Lichtdecken überformt.
Dach und Keller dienten vermutlich auch zur Lagerung von Handelsware der Kaufleute Hilger. Beide Häuser sind nur zur Hälfte der Länge nach unterkellert. Die 2,6 Meter hohen Gewölberäume(Tonnengewölbe) sind von den Küchen aus zugänglich. Zugleich gibt es den breiten Zugang von der Straße aus über die doppelten Torflügel im Vorbau der Freitreppen. Der Keller unter dem Haus 4 zeigt noch den ursprünglichen Bodenbelag aus Sandsteinplatten, während der Fußboden des zweiten Kellers unter Haus 2 später aufgehöht wurde.
Zur hausfesten Ausstattung gehören in beiden Häusern die an den Treppenpfosten reich mit Schnitzereien in Rokokoformen verzierten Treppen mit geschlossenen, profilierten Brüstungstafeln. In beiden Eingangsbereichen werden die Treppenaugen im Erdgeschoß von einem profilierten und geschweiften Sturzbalken begrenzt, der sich an den Wänden in geschnitzten, pilasterartigen Wandpfosten fortsetzt. In der Mitte des Balkens befinden sich in beiden Häusern geschnitzte Adlerfiguren. In Eingangsbereichen bestehen die Fußböden aus schwarzen und weißen Fußbodenplatten aus Marmor im Diagonalverband(teilerneuert im Haus 2). Die Salons, Wohn- und Schlafräume haben teilweise erneuerte, teilweise mit Teppich überdeckte Fußböden aus Eichendielen. In den Türöffnungen sind überwiegend die verzierten Eichentüren mit Messingbeschlägen und die zugehörigen profilierten und mit Schnitzereien versehenen Türumrahmungen erhalten.
Erwähnenswert von der übrigen Ausstattung ist das Kachelzimmer im Erdgeschoss des Hauses 4(zur Straße gelegen) mit den auf drei Zimmerseiten vom Boden bis auf Sohlbankhöhe reichenden Delfter Kacheln.
Die übrige Möblierung des Hauses wurde nach Einrichtung zum Heimatmuseum zusammengetragen.
Bedingt durch die Hanglage gliedert sich der höhere Gebäudeteil in drei Sektoren mit treppenförmig verspringendem Sockel und Fenstern in unterschiedlicher Höhenanordnung. Der massiv ausgeführte Sockel ist verputzt und grau gestrichen.
Der nach einem durch den Bauherrn Friedrich Carl Cleff und den Bauunternehmer de Werth unterzeichneten Bauantrag von 1881 entstandene Ursprungsbau war deutlicher als heute auch durch die Fensterformen als Werkbau zu erkennen(StR Bauakte Cleffstr. 2). Hauptbau und rückwärtiger Flügel wurden überwiegend belichtet durch Rundbogenfenster mit kleinteiliger Verglasung. Nur die sechs Achsen des zweigeschossig ausgebildeten, westlichen Hausteils hatte Rechteckfenster mit Verdachungen. Hier im Kopfbau zur Talseite waren Büro, Packstube und im Obergeschoß wohl Wohnräume untergebracht.
Von Westen nach Osten waren in dem Gebäude folgende weitere Funktionen untergebracht: an das Büro(zwei Achsen) schloss sich eine Schmiede mit zwei Essen an(vier Achsen) gefolgt von der Härterei(drei Achsen), Werkzeugmaschinen(drei Achsen) und Schleiferei(vier Achsen). Der Hauptbau ist weitgehend unterkellert. Noch im Hauptbau, aber rückwärtig zur angrenzenden Halle orientiert war die Dampfmaschine zum Antrieb der Schleifsteine und Werkeugmaschinen montiert. Der anschließende Hallentrakt war im wesentlichen Kesselhaus mit Kohlenlager, Vorratsraum für Eisen- und Stahlwaren und einem nur von außen zugänglichen Raum mit Glühofen. Vor dem Hallengiebel stand im Norden der Schornstein mit quadratischem Sockel und rundem Schaft(nicht erhalten).
1914 und 1917 wurde der Haupttrakt nach einem Antrag von Hugo Berger(das Gebäude heißt seither „Berger-Bau“) in Wohnraum umgewandelt und vollständig in ein zweigeschossiges Gebäude verwandelt. Alle Fenster im Erdgeschoß wurden segmentbogig umgeändert und die neuen Öffnungen im Obergeschoß in Anlehnung an den talseitigen Kopfbau als Rechteckfenster ausgeführt. Alle Fensteröffnungen erhielten profilierte, weißgestrichene Holzeinrahmungen. Der mittlere Gebäudeteil wurde durch eine neue, zweiflüglige Hauseingangstür erschlossen. Die Fenster im Erdgeschoß des Haupttraktes sind heute weitgehend unpassend erneuert(Originalfenster finden sich wohl noch auf der Rückseite), während die Holzfenster im Obergeschoß in Flügeligkeit und Sprossenteilung der Umbauphase entsprechen.
Im Inneren sind im talseitigen Kopfbau sowie im anschließenden Haus zwei Holztreppen mit gedrechselten Treppenpfosten und Treppenstäben sowie einige Holztüren aus der Umbauzeit 1914 erhalten sowie eine Tür im Dachgeschoß in Zweitverwendung aus dem 18. Jahrhundert.
Auch das Kesselhaus wurde zugunsten einer Nutzung als Werkstatt verändert, indem große stichbogige Metallsprossenfenster in die Traufwand eingebaut wurden. Auf der Werkstatthalle sind die vermutlich bauzeitlichen dunkelgrauen Hohlziegel erhalten, während die Dacheindeckung des Haupthauses mit Betondachsteinen erneuert wurde.
In der Halle sollten 20, später 30 Arbeitsmaschinen aufgestellt werden: 8 Drehbänke, 4 Fräsmaschinen, 2 Hobel- und Stoßmaschinen, 2 Bohrmaschinen, 3 Schleifmaschinen und eine Zentriermaschine. Der Antrieb der Maschinen erfolgte über Seile durch die Dampfmaschine im gegenüberliegenden Maschinenhaus. Die dortige Kesselanlage lieferte auch die Wärme zur Beheizung. Zur Beleuchtung wurden Glühbirnen verwendet. Anfangs waren 20 Arbeiter und bei vollem Betrieb 30 bis 40 Arbeiter vorgesehen.
Die Shedhalle wurde nach Plänen von 1989 in die Neubauten für das Deutsche Werkzeugmuseum(1992-93) einbezogen. Zur Verbindung mit dem Neubau wurden die Südwand fast vollständig und die Westwand etwa zur Hälfte abgebrochen und die Dachhaut mit Dachpappe, Aluminiumfenster für die Glasflächen und Schieferortgänge erneuert. Von der Südwand erhalten sind der Eingang mit Blechtür und eine in die Halle hineinführende Kranbahn. Die Shedhalle ist auf ganzer Breite durch eine leichte Trennwand für Depot und Museumswerkstatt unterteilt.
Mit dem Niedergang der Sensenschmiede um 1700 entwickelte sich aus dem Fertigungs- und Materialwissen des Bergischen Landes eine überregional bedeutende Werkzeugproduktion. Die wichtigsten Artikel waren Feilen und Sägen. Das vergeblich nach einer Zunftordnung verlangende 16-Kleinschmiedehandwerk umfasste außerdem Beitel- und Bohrschmiede, Schlossmacher, Schlosser, Bogknie- und Pfannen-, Komfoor-, Schrauben, Schraubnagel, Winden-, Kaffeemühlen-, Nagel-, Schaulen- und Riegelschmiede. Remscheid und Umgebung entwickelte sich zu einem Hauptgebiet der Werkzeugproduktion in Deutschland(Stursberg, 1962, S. 62. - Engels / Legers, 1928/1980, S. 169, 309).
Der Kaufmann behielt und verstärkte seine Bedeutung im Vertriebs- und Produktionsprozess. Wichtig war den Kaufleuten die Abwehr der Bestrebungen zum zunftmäßigen Zusammenschluss der Kleinschmiede um 1750, an der sich erfolgreich auch Johann Peter Hilger beteiligte. Die Kaufleute fürchteten um ihre Bedeutung, ihre zentrale Stellung im wirtschaftlichen Kontext der Kleineisenherstellung. Seit der Mitte des 18. Jahrhunderts wurde auch im Verlag produziert: die Kaufleute lieferten den Schmieden das Material und übernahmen die Ware zu festgesetzten Preisen. Im Westfälischen und Oberbergischen hießen die Verleger auch Reidemeister. Verlag und Hausindustrie blieben auch im 19. Jahrhundert weit verbreitet zumal diese Organisationsform dem Kaufmann deutliche Vorteile verschaffte durch Abwälzung des Konjunkturrisikos auf den Hersteller, dem die Betriebsstätte und Produktionsmittel gehörten(Engels / Legers, 1928/1980, S. 128, 352).
Die Kaufleute sorgten für die Verbreitung der bergischen Werkzeuge nach Holland und Belgien, von dort aus auch nach England und Frankreich. Über Lübeck wurde der skandinavische Markt beliefert. Von großer Bedeutung war der russische Markt. In mehrmonatigen Verkaufsreisen erlangte der Kaufmann die einträglichen Aufträge aus Rußland, das bis zum Ersten Weltkrieg ein Hauptabnehmer bergischer Waren war. Die Ausfuhrquote der Remscheider Fertigwaren lag noch in den 1890er Jahren bei rund 40% - in einigen Betrieben wurde dieser Wert noch übertroffen(Engels / Legers, 1928/1980, S. 114f, 332f).
In diesem Kontext vermischte sich auch die zuvor klarere Trennung zwischen Handel und Gewerbe. Der Kaufmann wurde auch Fabrikant(Engels / Legers, 1928/1980, S. 336). Seine Betriebstätte aber hielt sich im Rahmen der regionalen Wirtschaft und ging nicht hinaus über die Form des Kleinbetriebs. Am Wohnsitz des Kaufmanns entwickelten sich kleine Betriebsstätten mit den für das Bergische Land typischen Arbeits- und Produktionsformen.
Die Nutzung des Hauses seit 1847 durch die Brüder Fritz und Carl Cleff und besonders die Ergänzung des Hauses durch kleine Produktionseinrichtungen 1881 und 1897 liegt in dem beschriebenen Trend der zweiten Hälfte des 19. Jahrhunderts als die Kaufleute auch zu Fabrikanten wurden.
Schließlich ist auch die Übernahme der Gebäude durch Richard Lindenberg und die Nutzung des Haupthauses als Wohnsitz für seine Direktoren von wirtschaftshistorischem Interesse zumal Richard Lindenberg mit dem fabrikmäßigen Betrieb des Elektrostahlofens eine der wichtigsten Innovationen in der Eisen- und Stahlindustrie des Bergischen Landes gelang.
• Diederichs, Urs Justus(Red.): Werkzeug. Mensch. Geschichte. Führer durch das Deutsche Werkzeugmuseum Remscheid, Remscheid 2000
• Engels, Wilhelm / Legers, Paul: Aus der Geschichte der Remscheider und Bergischen Werkzeug- und Eisen-Industrie, Remscheid 1928 reprint 1980
• Krielke, Katrin: Haus Cleff in Remscheid-Hasten. Dokumentation des Baubestandes und die bauhistorische Einordnung des Doppelhauses. Schriftliche Hausarbeit Lehramt Sekundarstufe II, Wuppertal 2004
• Lorenz, W.: Haus Hilger oder Haus Cleff?, in RGA-Beilage 12.7.1987
• Rees, Wilhelm: Haus Cleff und seine ersten Bewohner, in: Remscheider Generalanzeiger, N 2 KII-633
• Rees, Wilhelm: Zur Geschichte des kulturellen Lebens in Remscheid, 1937
• Schmidt-de Bruyn, R.: Das bergische Patrizierhaus bis 1800, Bonn 1983
• Stursberg, Erwin: Remscheid und seine Filiale. 650 Jahre Hasten, Remscheid 1962