Mittelpunkt der Insel inmitten des Harburger Binnenhafens mit Werften, Ausrüstungskaianlagen und dem Überwinterungshafen ist das Harburger Schloß, Keimzelle der ehemals selbständigen Stadt Harburg (Groß-Hamburg-Gesetz von 1937). Bis in das 11. Jahrhundert führten die Recherchen zurück und können anhand dieses Gebäudes einzigartig nachvollzogen werden.
Ursprünglich stand hier auf einer Talsandinsel im Sumpfgebiet eine Burg der Herzöge von Braunschweig-Lüneburg. Nachfolger des Kurfürstentums Braunschweig-Lüneburg wurde 1814 das Königreich Hannover (Wiener Kongress). Mit dem Tod Wilhelm IV. (1837) endete die Personalunion zwischen Großbritannien und Hannover; bis dahin war der König von Hannover gleichzeitig Herrscher des Vereinigten Königreichs Großbritannien und Irland.
Mit der Erschließung des Sumpfgebietes hin zu einer Ortschaft, der Mitte des 19.Jh. Hafen und Industrie folgten, veränderte sich auch der Standort auf der Schloßinsel. Aus diesem erhaltenen Schloßflügel der mittelalterlichen und aus fünf bastionen bestandenen Zitadelle entstand Wohnraum. Die ehemalige Bauhofstraße - heute An der Horeburg - war in Ergänzung mit der Harburger Schloßstraße der Zugangsdamm zum Schloß. Während die Baulichkeiten Denkmalwert besitzen, unterliegt die gesamte Insel incl. Umfeld der Bodendenkmapflege. Zahlreiche Ausgrabungsmaßnahmen führte das Helms-Museum noch bis 2014 durch.
Dieses Umfeld lädt heute durch einen neu angelegten Park zu Spaziergängen ein. Ihm folgen alte Hafenbetriebe ebenso wie Neubauten, so dass sich das ehemals reine Hafengebiet auch zu einem Freizeitquartier entwickeln konnte.
Erst die großangelegte Stadtgestaltungsinitiative der IBA 2013 über Wilhelmsburgs Inselgebiet hinaus bis nach Harburg gab dem Vorhaben einen zusätzlichen planerischen wie auch finanziellen Anschub. So wurden LKW-Verkehr und Bahnbetrieb auf der Insel erheblich reduziert, Hafenbetriebe verlagert, damit das Schloß und das Umfeld neu gestaltet werden konnte. Heute befinden sich neben der Werft des Amtes für Strom- und Hafenbau (Technischer Betrieb Hafen / heute HPA) neue Wohnanlagen, u.a. die Harburger Marina bzw. das Wohnhaus Pearl.
Auch die bestehenden Lotse- und Holzhafen-Klappbrücken sind durch moderne Drehbrücken-Einheiten verstärkt worden. Die neue Brücke hat eine Gesamtlänge von 31m; der drehbare Brückenabschnitt beträgt 18m, genug Raum für passierende Schiffe. Für Fußgänger und Radfahrer aus dem südwestlichen Harburg schafft sie einen gelungenen Zugang zu neuen Freiräumen auf der 1,4 Hektar großen Schlossinsel, die u.a. vom Lotsekanal, dem Harburger Holzhafen, dem Überwinterungshafen sowie dem Verkehrshafen umgeben ist.
Das Areal um den Harburger Binnenhafen besteht aus den Ortsteilen Lauenbruch, Innerer Hafenrand und Elbufer.