Pustinja je eden največjih in najbolj znanih muzejev pri nas. Njegova najbogatejša zbirka se nahaja v več stavbah. Glavni muzejski kompleks se nahaja na bregovih Neve. Kljub večkratni gradnji te strukture tvorijo en sam arhitekturni ansambel.
Štiri od petih stavb kompleksa s pogledom na palačo gledajo na Palaški nasip. Zimska palača naredi trajen vtis. Zgrajena je bila kot slavnostna kraljeva rezidenca v letih 1754 - 1762 po načrtu Francesca Bartolomea Rastrellija. Prav ta zgradba je določila edinstven arhitekturni videz ansambla na bregovih Neve. Palača je bila zgrajena v slogu ruskega baroka. Je zelo eleganten, presenetljiv po obsegu, bogastvu in raznolikosti arhitekturnega dekorja. Hkrati celovitost in sorazmernost delov daje ustvarjanju Rastrellija harmonično in slovesno podobo.
Na levi strani je Mali puščavnik. Raztegnjena je pravokotno na Nevo in gleda na palačo nabrežja z ozko fasado. Majhna puščava je bila ustvarjena posebej za gostovanje zbirke Katarine II. Gradnja se je nadaljevala od leta 1764 do 1775. Stavba je bila postavljena poleg Zimske palače kot "zgradba v vrsti", zato je bilo treba njeno arhitekturno odločitev uskladiti z odločitvijo palače. Arhitekta Felten in Valen-Delamot sta ustvarila eno prvih in najbolj izpopolnjenih stavb zgodnjega klasicizma. Toda s svojimi klasičnimi oblikami se Mali puščavnik uspešno spopada z baročno Zimsko palačo, velikodušno nasičeno z dekorativno plastiko. Majhna puščava je sorazmerna s palačo: tako kot Zimska palača je razdeljena na dva nivoja, spodnji služi kot osnova za lažji zgornji del. V drugem sloju je bila zgrajena kolonada korintskega reda, podobna palači.
Gradnja Male puščave še ni končana, ko se je za vedno večjo zbirko umetniških predmetov začela graditi nova stavba - Velika puščava, od sredine 19. stoletja pa se imenuje Stara. Leta njenega nastanka od 1771 do 1787. Arhitekt Felten je v novo stavbo uspešno vstopil v sprednjo stojalo fasad in jo odločil jedrnato in strogo. To je pokazalo takt arhitekta. Poudaril je reprezentativnost Malega puščavnika in plastično izraznost glavne stavbe ansambla - Zimske palače.
Felten je stavbo Stare puščave pogumno povezal z lokom Ermitažnega gledališča. Vržena je čez Zimski prekop. Gledališče je bilo zgrajeno v letih 1783 - 1786 po projektu arhitekta Giacoma Quarenghija. To je odličen primer visokega ali strogega klasicizma. Quarenghi je nadaljeval jasen ritem stavb prejšnjih ustvarjalcev kompleksa. Gledališke predstave na kraljevem dvoru v 18. stoletju so postale tradicionalne, spremljale so številne praznike. Pročelje gledališča je nenavadno za stavbe te vrste. Vhodnih vrat ni, saj so gledalci prišli iz Zimske palače skozi pokrito galerijo nad lokom.
Leta 1842 se je začela gradnja druge muzejske stavbe. To je projekt graditelja münchenskega pinakoteka Leona von Klenzeja. Nemški arhitekt se je ukvarjal s projektom stran od Sankt Peterburga. Upal je, da mu bo uspelo pridobiti dovoljenje za uničenje Stare puščave in urediti trg med Zimsko palačo in Novo puščavo. A to se ni zgodilo in okrašena glavna fasada Novega zapuščaja se zdaj sooča z Milijonsko ulico. Stavba je bila v skladu s takratnimi trendi zgrajena v eklektičnem slogu in v svoji arhitekturi združuje značilnosti različnih dobi - antike, renesanse, baroka in klasicizma. Nova puščava je prva stavba pri nas, zgrajena posebej za muzej. Novi Ermitaž ima veličastno portiko, ki je okrašena z desetimi granitnimi figurami Atlantičanov, ki jih je ustvaril kipar Terebenev.
