Der Bau der Speicherstadt auf hunderten von Eichenpfählen durch den Oberingenieur Franz Andreas Meyer (1837-1901) und den Wasserbaudirektor Christian Nehls war eine der Folgen des zwischen Hamburg und dem Deutschen Reich geschlossenen Zollanschlussvertrages von 1881. Mit ihm erstritt sich Hamburg das Recht, trotz Zollanschluss einen bis 1888 zu schaffenden Teil des bestehenden Hafengebiets für den zollfreien Handel herzurichten und zum Freihafen zu erklären. Ein entsprechender Gedenkstein von Kaiser Wilhelm II befindet sich an der Brooksbrücke. 2012 wurde der Freihafen aufgegeben. Damit entfiel die Umzäunung auch für die Speicherstadt und die Zollzäune wurden abgebaut, ein bis dahin undenkbarer Vorgang.
Der Bau von Lagerräumen und Kontoren auf einer Gesamtfläche von etwa 30 ha wurde ab 1881 notwendig, die in drei Bauabschnitten auf den ehemaligen bewohnten Inseln Kehrwieder (damalige Bezeichnung für eine Sackgasse) und Wandrahm (Tuchmacher spannten dort ihre Stoffe auf Rahmen) realisiert wurden. Bis zu 16.000 Bürger mussten umgesiedelt, das Gelände gegen Hochwasser aufgehöht und mit Kanälen durchzogen werden. Denn Grundvoraussetzung für den Bau der Speicheranlagen war die Erreichbarkeit sowohl mit Fuhrwerk von der Landseite her als auch mit Schuten und Ewern von der Fleetseite. In der Zeit von 1885-1888 wurde die ersten Speicherblöcke A - O und die Kaffeebörse am Pickhuben (gemeint damit evtl. Pechhauben), allesamt von beeindruckender Größe, sakraler Würde sowie verspielt im Detail. Leider ist ein Großteil von ihnen im 2. Weltkrieg zerstört worden. Nicht wieder aufgebaut wurden die Blöcke A, B, C, J + K. Hier befinden sich heute die Neubauten aus heutiger Zeit mit dem Kehrwiederbürogebäude und dem HTC mit der Körber Stiftung. Über die in den 50er Jahren durch den Architekten Kallmorgen behutsam neu aufgebauten bzw. sanierten Speichergebäuden wurde bereits Mitte der 90er Jahre hinsichtlich der zukünftigen Nutzung nachgedacht. Lange zuvor hatten sich - quasi wegweisend - bereits Kultureinrichtungen im Speicherblock L einquartiert; u.a. das privat geführte Afghanische Museum (das 2011 schloß) sowie das Gewürzmuseum. So entstand nach dem großen Erfolg der Titanic-Ausstellung (1998 mit über 1 Mio. Besuchern) im Block D an der Straße Brook (früher Weideplatz für Kühe, da feucht und morastig und danach teilweise ein Staatsspeicher für die Zollabfertigung und Post), der Kulturspeicher mit der Miniatureisenbahn, Dungeon, Varieté-Theater und dem Spielzeugmuseum. Ein ebenso spannender Ort ist das Gebiet um die ehemalige Kaffeebörse zwischen den Blöcken H und O. Dort wurde 2014 das erste Hotel in der Speicherstadt eröffnet und die Börsenräume als Entreé zum Hotel genutzt. Kulturell interessanten Einbauten wurden wiederverwendet, so die kletternden Affen von Eduard Bargherr.
In Verlängerung des Blocks O befindet sich an einem reizvollen Gebäude die Skulptur der heiligen Anna - Mutter der Jungfrau Maria und Schutzheilige der Mütter und Kaufleute. Sie ist die Namensgeberin der St.-Annen-Kapelle und des ehemaligen Friedhofs St. Annen (hebräisch: Gnade) für die Armen aus der Kirchengemeinde St.Katharinen (Arm-Lüds-Karkhof) oder auch Selbstmörder beigesetzt. Der Friedhof wurde 1812 aufgehoben und das heute noch bestehende ehemalige Verwaltungsgebäude der HFLG erhielt in Erinnerung an diese Vorgeschichte die Skulpturen der heiligen Anna und ihrer Tochter Maria am nordöstlichen Eck, hin zum Annenfleet.
Der zweite Bauabschnitt mit den Blöcken P (heute Sitz der Hamburg Port Authority / HPA - vormals Amt für Strom + Hafenbau), Q + R folgte in den Jahren 1891 - 1896. Zwischen den zuletzt genannten Blöcken befand sich damals der private Kaffeespeicher der Firma Hanssen und Studt. Er war für die Rohkaffeebearbeitung mit einem eigenen Kraftwerk ausgestattet und besaß einen eigenen Schornstein und an der Straßenseite eine eiserne Nottreppe. Heute befindet sich dort das Speicherstadtmuseum.
Als dritte Baumaßnahme entstanden von 1899 - 1912 die Blöcke mit den Bezeichnungen S, T, U, V, W + X auf der Wandrahm-Insel, beginnend beim Straßenzug Bei St. Annen bis hin zur Poggenmühle. Sie beherbergten auch das Hauptzollamt St. Annen; noch immer weist das Zollmuseum darauf hin. Die Erfolge einer sinnvollen Umnutzung wurden auch auf die Flächen des dritten Bauabschnitts übertragen. Heute befinden sich dort Einrichtungen wie Dialog im Dunkeln, Künstlerateliers u.a. mehr. Als Rathaus der Speicherstadt gilt das Gebäude Bei St. Annen 1, 1901 als Teil des Blocks U gebaut von den Architekten Grotjan, Hanssen & Meerwein. Es ist Hauptsitz der damaligen HFLG und heutigen HHLA. Dieses Gebäude passt sich durch seine roten Backsteine in die Umgebung ein, hebt sich andererseits durch seine ortsunüblichen Sandsteinanteile daraus hervor. Arkaden, Balkon und Uhrturm sowie eine der Gotik nachempfunden Eingangsdiele wirken darüber hinaus.
Ein viertes Terrain auf der Ericusspitze am Teerhof blieb reserviert für damals nicht absehbare Nutzungsbedarfe. Das bestehende Fleet ist zugeschüttet worden. Seit September 2011 ist es der neue Standort des Wochenmagazins "Der Spiegel".
Mit der, den besonderen Gegebenheiten angepassten Umnutzung und gelungenen denkmalgerechten Sanierung vieler Speicher begann die damalige Hamburger Freihafen-Lagerhaus-Gesellschaft vom 07.03.1885 (HFLG), nachfolgend die Hamburger Hafen- und Lagerhaus-Aktiengesellschaft (1935) und seit 2005 die Hamburger Hafen- und Logistik AG (HHLA / umfirmiert entsprechend ihren jetzigen Aktivitäten) schon frühzeitig. Wo früher auf den Böden (Name für Stockwerke) ausschließlich Teppiche, Kaffee- bzw. Kakao-Säcke oder Gewürze gelagert wurden, finden sich heute neben den bereits erwähnten Kultureinrichtungen Architektenbüros, Gastronomiebetriebe u.a.! Ein gelungenes Beispiel einer sinnvollen Nachnutzung ist auch das Kesselhaus. Das Gebäude war bereits 1888 mit gasbetriebenen Turbinen für die Dampferzeugung ausgestattet worden und sorgte seinerzeit dafür, dass der gewaltige Energiebedarf der gesamten Speicherstadt mit Energie für Licht und für die Motoren und Winden für den Umschlagsbetrieb gedeckt werden konnten. Ebenso entsprach es den damaligen Feuerschutzbestimmungen, die die Elektrifizierung der Speicherstadt vorschrieben. Heute kann das Kesselhaus - mit aufgesetzten Schornsteinnachbildungen von Jedermann, -frau oder -kind bei freien Eintritt besucht werden. Darin befindet sich ein 4m x 8m großes Modell einer geplanten Hafencity im Maßstab 1: 500. Jede neue Idee wird aufgegriffen und durch ein kleineres Abbild dort eingepasst. Das Überseequartier bzw. die Elbphilharmonie sind interessante Beispiele. Die Veränderungsnotwendigkeiten nahmen zu, als der Senat Anfang 2000 mit der Realisierung einer HafenCity begann. Denn dazu mussten Eingriffe in diesen Teil des Hamburger Hafens vorgenommen werden, die auch für die Speicherstadt mit erheblichen Auswirkungen verbunden waren. Wie bereits erwähnt, lag die Speicherstadt bisher im Freihafen, war damit Hafengebiet und grundsätzlich hafenfremden Nutzungen verschlossen, sowie zollfreie Zone. Hohe Zäune und Zollkontrollstationen schützten diesen Bereich, in dem Warenumschlag stattfand, ohne dass dafür Zölle gezahlt werden mussten. Heute sind nur noch wenige dieser Zäune aus Gründen des Denkmalschutzes vereinzelt erhalten geblieben; die Zollstationen sind jetzt überwiegend abgebrochen (Brooktorkai) oder umgenutzt worden (Gastronomie). Dafür besuchen viele Hamburger und Gäste der Stadt diesen neuen Raum, was zu Veränderungen herausfordert. Wichtig zu beachten, dass neben den Gebäuden auch das Umfeld mit seinen Ladeflächen und Freiräumen nicht derart verändert wird, dass der Charakter des Areals verloren geht. Denn die gesamte Speicherstadt steht seit 1991 unter Denkmalschutz und es bestehen Aktivitäten, das gesamte Areal incl. des angrenzenden Kontorhausviertel mit dem Chilehaus von der UNESCO als Weltkulturerbe anerkennen zu lassen. Doch offen bleiben Fragen, wie angepasst bis dahin z.B. die Ausstattung der Straßen mit Lampen erfolgen soll (möglichst nicht die Hamburg typischen Peitschenmastlampen), mit Verkehrsschildern (Schilderwald) u.a. mehr, und welche Qualität die bisher noch verträumten wirkenden und mit Kopfstein gepflasterten Straßen annehmen sollen (Asphalt, Fahrradwege und Parkplatze mit Parkuhren). Schon die Kippelstegbrücke (Kippeln = sich kappeln, streiten) stellt einen erheblichen Eingriff dar, ist aber aufgrund ihrer angepassten Bauweise noch hinnehmbar. Zumal sie notwendig ist, um eine Hochwasser geschützte Erreichbarkeit der HafenCity in diesem Gebiet zu gewährleisten. Doch ob auch die Hauptzufahrten (Mattentwiete / Auf dem Sande bzw. Brandstwiete / Bei St. Annen) durch die Speicherstadt Richtung Hamburger Innenstadt bzw. HafenCity ebenso gelungen hergerichtet werden können, bleibt abzuwarten. Letztlich sei an dieser Stelle erwähnt, dass der unmittelbar angrenzende Kaispeicher B an der Magdeburger Straße 1 das ältesten Lagergebäude dieser Region darstellt. Er wurde bereits im Jahre 1878 gebauten und ist damit nicht Bestandteil der Speicherstadt. Heute beherbergt er nach erheblichen Umbau- und Sanierungsmaßnahmen das Internationale Maritime Museum. Die Straßenbezeichnung lautet aktuell Koreastraße.