Skolen var en privat forberedelsesskole som senere ble utvidet til et latin- og realgymnas. I 1874 vokste den betydelig 184 elever fra Nissens latin- og realskole i Teatergata 3 (nåværende Håndverkeren) ble overført hit. Elevtallet på 577 skulle bli det høyeste skolen noensinne fikk. Blant elevene som startet dette året var Edvard Munch, som på denne tiden bodde med sin familie i Pilestredet 30. 

På slutten av 1890-tallet begynte Kristiania å vokse mot vest, og beliggenheten på St. Olavs plass var ikke lenger like heldig. Skolens interessentskap valgte dermed å kjøpe en tomt i Niels Juels gate 52 på Frogner, hvor skolen flyttet inn i 1899 og skiftet navn til Frogner høiere almenskole. Dette er samme bygg hvor Hartvig Nissen skole holder til idag. 

St. Olavs plass 5 ble i 1899 overtatt av Krigsskolen som holdt til i bygget fram til 1910 da Sjømannnsskolen tok over. I 1917 ble bygget overtatt av Oslo Helseråd som hadde leid lokaler her siden 1887. 

Den 21. april 1943 ble St. Olavs plass 5 skadet i en sabotasjeaksjon utført av Osvald-gruppen mot Oslo arbeidskontor. To hjemmelagde bomber ble kastet inn i kommunens kortarkiv, og den delen av bygget som lå mot Pilestredet. 

I 1965 ble gamle St. Olavs plass 5 revet sammen med Kunstforeningens bygg i Pilestredet, som så vidt kan skimtes til venstre på det gamle bildet. 

Dagens St. Olavs plass 5 ble oppført i modernistisk stil i 1969, etter tegninger av Erling Viksjø som også stod bak Høyblokka og  Y-blokka i Regjeringskvartalet, og Inge A. Dahl. Bygningen ble oppført som nybygg for Oslo Helseråd og ble senere brukt av juridisk fakultet ved Universitetet i Oslo. 

Den ikoniske bygningen i naturbetong har en triangulær form med rasterfasader og har siden 2017 vært listeført. Bygningsmassen blir for tiden (2020) rehabilitert til et moderne kontorbygg av Entra i samarbeid med MAD Arkitekter og Krohnark.