Sinds 1238 is deze instelling op dezelfde campus gevestigd. Het terrein werd oorspronkelijk “alnetum” (Ter Elst), later Elzenveld, genoemd. Het centrum Elzenveld is gelegen in het hart van de binnenstad van Antwerpen. Het bevindt zich op korte afstand van de Groenplaats en de Handschoenmarkt, de Grote Markt en de Scheldekaaien.

Het eerste “Hospitale infirmorum” werd te Antwerpen in het begin van de 13e eeuw gesticht nabij de toenmalige Romaanse O.L.V.-kerk. Omwille van plaatsgebrek en besmettingsgevaar werd het in 1238 overgebracht naar het Elzenveld, dat buiten de toenmalige stadsmuren gelegen was. In 1258 aanvaardde de lekengemeenschap van broeders en zusters de regel van Sint-Augustinus.

Na de volgende stadsuitbreiding lag de instelling terug in de stad. Van de oorspronkelijke gasthuishoeve is niets meer overgebleven. Het oudste nog gave gebouw is het schip van de kapel, opgericht rond 1400 en uitgebreid met een ruim koorgedeelte tijdens de jaren 1442-1460. Nadien volgde de bouw van de oudste nog bestaande gasthuiszalen, het klooster, de pastorij en de opbrengsthuizen rondom het complex.

In 1797 werd de religieuze instelling opgeheven. Het patrimonium werd verbeurd verklaard. Het gasthuis werd geplaatst onder het bestuur van de Burgerlijke Godshuizen, de voorloper van het huidig Openbaar Centrum voor Maatschappelijk Welzijn.

Het klooster
Het kloosterpand werd in de loop der eeuwen veelvuldig vergroot en verbouwd. De oudste delen dateren uit de zestiende eeuw. Na jarenlange bewoning verliet de religieuze orde op 12 januari 1989 het klooster en vestigde zich in een nieuw rustoord. Voordien werden reeds de voormalige ontvangst -en zitkamers gerestaureerd. De aanpassingswerken aan de andere ruimten werden daarna aangevat.