1883 begannen die Bauarbeiten für das 223m langen Gebäudes der Oberpostdirektion, bestehend aus dem Ostbau am Stephansplatz 1-5, dem Mittelbau am Gorch-Fock-Wall und dem Westbau an der Caffamacherreihe.
Während der Kaiserliche Postbaurath Ernst Hake für die Planung zuständig war, führte der Regierungsbaumeister Friedrich Simon Ruppel den Bau durch.
Zuvor hatte das Reichspostamt vom Senat der Stadt Hamburg das 8.500m² große Grundstück auf dem Tauschwege erworben. So kam Hamburg in den Besitz der Flächen an der Poststraße + Gerhofstraße, Sitz des heutigen Hanseviertels.
Namensgeber für die neue Oberpostdirektion mit einer Frontlänge von insgesamt 302m war der Staatssekretär im Kaiserlichen Reichspostamt Heinrich von Stephan; er war als Generalpostmeister Vorgesetzter von ca. 1250 Beamten und 1400 Unterbeamten der Post- und Telegraphenverwaltung.
Auf der Homepage des Bauherrn, der DWI ist nachzulesen, dass damals im Postfuhrbetrieb 66 Postillione und 102 Pferde im Einsatz waren. 1887/1888 wurde ein Kraftwerk am Dammtorwall 35a zur Erzeugung von Druck- und Saugluft für den Rohrpostbetrieb und von Licht- und Kraftstrom für die posteigenen Dienstgebäude eingeweiht. Die Lichtspannung betrug damals 100 Volt Gleichstrom.
1966 wird das Postmuseum mit der postgeschichtlichen Sammlung nach Umgestaltung wiedereröffnet. Und bis 2010 beherbergte das Direktionsgebäude das 1999 eröffnete Museum für Kommunikation.
2012 sind durch umfangreiche Sanierungsarbeiten 11.650 m² Büroflächen entstanden. Das Investitionsvolumen betrug ca. 27,5 Mio. €. Auf dem Gelände der ehemaligen Zentralkantine am Dammtorwall 7 wird ein Parkhaus mit 700 Stellplätzen errichtet. Im Ostbau entstand ein repräsentatives Medizin- und Gesundheitszentrum mit Facharztpraxen und eindrucksvollem Informations- und Shoppingbereich. Der Mittelteil vereint die geschichtsträchtige Vergangenheit des Gebäudes mit modernen Arbeitswelten. Die Fassade ebenso wie zahlreiche historische Elemente im Inneren des wilhelminischen Prachtbaus konnten erhalten werden.