Den bygning, som vi ser i dag, er ikke det oprindelige Hvide Kloster, men stammer fra 1866. Og øverste etage er først tilføjet i 1920. Kollegiet har gennem tiderne haft beboere som Johannes Ewald, N.F.S. Grundtvig, Steen Steensen Blicher, B.S. Ingemann og Herman Bang.