1859 baute der Architekten und Stadtbaumeister Heinrich Oskar Winkler in der damals noch einzigen kreisfreien Stadt Altona der preußischen Provinz Schleswig-Holstein das Allgemeine Krankenhaus Altona.
Zwischenzeitlich wurde Altona Hamburger Stadtteil (1937) und das Krankenhaus geschlossen (1970). Doch in unmittelbarer Nachbarschaft entstand 1974 die Initiative "Aktive Freizeitgestaltung Altona" (AFA). Ihr Ziel, die Situation von sozial benachteiligten Menschen in Altona-Altstadt zu verbessern, ist bis heute aktuell. In deren Nachfolge gründete sich 1982 der Verein Haus Drei e.V. - Namensgeber war ein vom Bezirksamt Altona an den Verein verpachtetes Gebäude auf dem ehemaligen Krankenhausgelände, dem heutigen August-Lütgens-Park (A.Lütgens war Mitglied der KPD und wurde im Zusammenhang mit dem "Altonaer Blutsonntag" im August 1933 von den Nazis erschossen).
Seit 1982 fungiert Haus Drei als soziokulturelles Zentrum und Ort der Kommunikation in Altona-Altstadt. Als lokaler Veranstalter und Ausgangspunkt kultureller Aktivitäten bereichert es das kulturelle Leben über die Nachbarschaft hinaus.
Als Träger der freien Jugendhilfe bietet Haus Drei e.V. daneben Kindern einen niedrigschwelligen Zugang zu Freizeit- und Kulturangeboten. Spezialist ist Haus Drei für kulturelle Spektakel wie die "altonale spaßparade" (2009: 21.6.) oder das Hamburger Mädchenspektakel, für Frauen- und Lesbenkultur, für Bewegungskultur, für "Reisen zur Kunst" und als Vermieter einer professionell nutzbaren Holzwerkstatt (Hilfe zur Existenzgründung).
Haus Drei ist auch Mitbegründer des "Hamburger Comedy Pokals".