Zwischen der Oberhafenbrücke und der Norderelbbrücke befand sich auf der nach Süden weisenden 1,7km langen Eisenbahnstrecke als Untergrundbauwerk die 1908 fertiggestellte Pfeilerbahn. 126 Backsteinbögen verhalfen den täglich über 250 Zügen auf zwei Durchgangsgleisen - von insgesamt vier - von Ebene 1 beim Hauptbahnhof den Abstieg Richtung Hannover / Bremen über diese Rampe auf die Ebene Null bei den Norderelbbrücken. Die zwei anderen Gleiseinheiten in nördlicher Richtung verliefen auf dem Niveau zu der parallel verlaufenden Versmannstraße und setzten erst wenige hundert Meter vor der Oberhafenbrücke zum Anstieg auf Ebene 1 an.
Die ersten Viaduktbögen noch vor der Pfeilerbahn finden sich in Höhe der Deichtorhallen und wurden erst 2014 renoviert. Viele Bögen der Pfeilerbahn wurden in der Vergangenheit nach und nach zugemauert und dienten danach als Aufenthalts- und Umkleideräume für die Weichenreiniger und Rangierer sowie als Kokslager, Schmiede und als Werkstatt.
Manche blieben offen und gestatteten von Seiten des Baakenhafens einen Durchblick auf den Großmarkt bzw. auf die Anlagen im Bereich des Oberhafenquartiers.
2008 begann die Deutsche Bundesbahn mit dem Abriss des historisch einmaligen, da größenmäßig längsten Ziegelbaus in Hamburg. Spezialisten der „ArGe Pfeilerbahn“ mussten für die neue Konstruktion aus mäßig ansprechendem Stahlbeton jeweils 15m lange Vollverdrängerpfähle in das geräumte Erdreich rammen und erreichten damit einen Stahlverbrauch in einer Gesamtlänge von 40.000m nur allein für Gründungsmaßnahmen. Darauf wurde ein grauer Koloss gesetzt, der sich auch optisch im krassen Gegensatz zum Umfeld zeigt.
Der ehemalige Zustand aus den 50er-Jahren und ganz im Stil des legendären Baumeisters Schumacher kann noch in der Modellbahnanlage des hamburgmuseum bewundert werden.