Durch die Verkoppelung - der großen Landreform von 1786/88 - wurden die Flurstücke „Im Felde“ und „Grot und Lüttholtkamp“ dem Nienstedtener Bauernvogt Peter Groth zuerkannt. Damals hatten die Flächen noch Namen – keine Flurstücksnummern, wie sie heute gebraucht werden.
Das Grundstück der heutigen Elbschloss-Residenz wechselte seit 1800 diverse Male den Eigentümer. So kaufte sie Ende des 18. Jh. die Familie N. H. Dubbers - eine ehemalige Hutfabrik in Altona (heutige die Firma Wegener in Hessen); weitere Ausführungen dazu siehe unter Elbschlößchen.
Von 1882 bis 1997 wurde Gebäude von der 1881 gegründeten Elbschloss-Brauerei (1881-1997) für eigene Zwecke genutzt. Dort brauten der Betrieb unter wechselnden Firmenbezeichnungen so bekannte Marken wie das Elbschloss-Bier, das Ratsherren Pils oder das Dübelsbrücker Dunkel, eine dunkle Pilssorte, die Bezug nahm auf den Fähranleger Teufelsbrück.
1997 endete der Brauereibetrieb und die technischen Anlagen wurden demontiert. Von dem unter Denkmalschutz stehenden Hauptgebäude mit dem Ausschank blieb nur die Fassade stehen. Dahinter befinden sich nun eine Seniorenresidenz sowie acht einzelne Wohngebäude mit Eigentumswohnungen. In unmittelbarer Nachbarschaft wurde der historische Teil der Mälzerei mit modernem Design ergänzt und ist Sitz der Peter Döhle Schiffahrts-KG.
Passend zum ehemals dunklen Bier befindet sich dem Haupteingang das braune „Springendes Pferd“ von 1996 des Bildhauers Heinrich Eder aus dem Künstlerhaus Sootbörn. Die aus einer Materialkombination erstellte Skulptur eines lebensgroßen Pferdes mit Flügeln und Reiter war ursprünglich mit Spiegelbruchstücken besetzt und stand auch während einer Ausstellung in den Colonnaden. Dort wirkte das Hamburger Wetter und die Skulptur erstand neu.