Pustinja je eden najbolj priljubljenih muzejev pri nas, njegova podoba je v naših glavah trdno povezana z elegantnimi dvoranami Zimske palače. Dejansko je Zimska palača glavna in največja zgradba muzeja, njena vizitkica. Toda Zimska palača se je začela spreminjati v razstavne prostore šele v dvajsetem stoletju. Pustinja kot muzej se ni začela od tu.
Prvo muzejsko zgradbo v arhitekturni zasedbi Zimske palače lahko štejemo za Mali puščav, arhitekta Felten in Wallen-Delamot. To zgradbo sestavljata dva paviljona - severni in južni ter dve galeriji, ki se nahajata ob straneh Visečega vrta. Galerije so bile zgrajene nazadnje, vendar so bile namenjene razstavljanju umetniških predmetov. Slike v galerijah so bile postavljene po metodi neprekinjenega "obesega" obešanja.
Glede na namen so stene galerij zelo zadržane. Glavna dekorativna obremenitev pade na platno, okrašena je z različnimi štukaturami in da bi se izognili monotonosti, so zaradi velike dolžine tukaj izdelane majhne lažne kupole in valjasti loki. Pod kupolami v cvetličnih medaljonih so reliefni profilni portreti znanih zahodnoevropskih in ruskih umetnikov, kiparjev, znanstvenikov in arhitektov - Ticijana, Rubensa, Ghibertija, Martosa, Murilla in drugih. Te naj bi bile po mnenju njihovih ustvarjalcev muzejske notranjosti pozne klasike.
Druga zgradba, namenjena shranjevanju umetniških predmetov, je bil Veliki puščavnik, ki se je takrat imenoval Stari. Sprva je bila sestavljena iz dveh stavb - stavbe v skladu z Majhno puščavo ob Palaškem nasipu in stavbe Loggia Raphael, ki je bila pozidana nekoliko pozneje, pravokotno na prejšnjo zgradbo, vzdolž Zimskega kanala. V Veliki puščavi arhitekta Feltena je bila knjižnica ruske literature, nekatere sobe so bile rezervirane za stanovanjske odaje.
V stavbi lože v Rafaelu je arhitekt Quarenghi hranil ne samo kopije vatikanskih fresk. Dvorana z okni na dvorišče, sobe Sever in Jug na njihovih koncih so bile namenjene shranjevanju umetniških zbirk. Izdelava le-teh je bila precej preprosta. V osrednji dvorani so bili nad okni nameščeni medaljoni z reliefi, na koncih pa so razporejene niše s polkrožnimi stropi. V pritličju, katerega postavitev je skoraj popolnoma ustrezala zgornji, je bila sčasoma urejena knjižnica tuje literature. Lopta Corpha Raphael je popolnoma izgubljena, ostane le stena na strani kanala. Soba s kopijami vatikanskih slik je vgrajena v stavbo Nove puščave.
Po odprtju Novega zapuščaja se je palača selila tja. Sredi 19. stoletja je arhitekt Stackenschneider v nekdanjih razstavnih prostorih Stare puščave uredil dnevne sobe, pisarne in svečane dvorane. Pritličje so nekaj časa zasedle državne ustanove.
Trenutno je drugo nadstropje spet rezervirano za razstavne dvorane. Tu je ohranjena postavitev dveh vzdolžnih suite - ena obrnjena proti nasipu, druga proti dvorišču in obloga, ki jo je nameščal Shtakenschneider za stanovanjske komore. Posebno elegantno okrašene so dvorane z okni na Nevi - sprednji apartma. Odpira ga nekdanja prednja pisarna z jasperskimi stebri, slikovitimi pilastri, barvnimi lesenimi vrati s poslikanimi porcelanskimi medaljoni, pozlačenim štukaturami in slikovitimi ploščami na stropu in nad vrati. Dekoracija največje in najelegantnejše dvoposteljne dvorane Stare puščave navdušuje z različnimi uporabljenimi dekorativnimi elementi in materiali. Tu so jaspis in marmor, porfir in lapis lazuli. Druga soba je v načrtu osmerokotna, blokirana s kupolo. Tu kot v naslednjih prostorih glavno dekorativno breme pade na strop, obilno okrašen z pozlačenim štukaturami in reliefno desyuporty s slikovitimi vložki.
Dvorane Nove Ermitaže imajo že specifičen muzejski značaj. Pri oblikovanju je sodeloval nemški arhitekt Leo von Klenze, ki je že imel izkušnje z gradnjo javnega muzeja - Pinakothek München. Gradnjo stavbe in dekoracijo je vodil N. Efimov.
Po Klenzejevi zamisli naj bi bila v pritličju razstavljena skulptura antičnega in modernega časa ter antične umetnosti. Zato so nekatere dvorane urejene v starodavnem duhu. Eden od njih - dvajseti stolpec je bil namenjen grškim in etruščanskim vazam. Zgrajena je kot antična bazilika. Strop je prekrit s slikami v slogu antične keramike, na stenah pa so ploskev kompozicije v grškem slogu. Tla so obložena z okrasnimi okraski in meandrom. Druga dvorana antične skulpture je rešena v obliki antičnega dvorišča. Okrašena je z belimi kaniliranimi korintskimi stebri, stene so obložene z umetnim marmorjem temno lila barve, tlakovana tla pa so okrašena z geometrijskimi in cvetnimi okraski.
Dvorana, v kateri je arhitekt nameraval razstaviti skulpturo sodobne dobe, je dopolnjena z medaljoni s profili Michelangela, Canova, Martosa in drugih. Portreti izjemnih kiparjev so nameščeni na stropu, ki v tej dvorani nosi glavno dekorativno obremenitev. Svod je pokrit s škatlastim trezorjem z opažami in obilno prekrit s štukaturami. Stene so prekrite z globoko zelenim umetnim marmorjem.
V preostalih dvoranah prvega nadstropja so stene obložene tudi z barvnim umetnim marmorjem, stropi pa so z opažami, poslikanimi s cvetličnim vzorcem v antičnem duhu, ali naravnost, okrašeni z okrašenimi kaissoni.
V drugem nadstropju se odpre galerija Zgodovine antičnega slikarstva. Galerijo sestavljajo štiri kvadratne sobe, od katerih je vsaka blokirana s kupolo. Na jadra, ki podpirajo kupole, so nameščeni bareljevni portreti uglednih umetnikov, vključno s samim Leo von Klenzejem. Za okrasitev galerije so bile napisane slike, ki pripovedujejo zgodovino slikarstva.
Najbolj slovesni prostori drugega nadstropja so enfilada treh dvoran s previsoko lučjo. Ogromni obokani oboki so v celoti prekriti z arabesko oblikovanjem. Hale so zasnovane za dela velikega formata. Šotorska dvorana je znana po tem, da je na njenem podoknem stropu viden celoten sistem špirovcev, prekrit s poslikavo.
Značilnost New Ermitage je, da je bila ta zgradba zasnovana in utelešena prav za razstavljanje umetniških predmetov. Sredina 19. stoletja v ruski arhitekturi je bila čas obračanja na različne arhitekturne sloge preteklosti. Leo von Klenze je z izbranimi dvoranami, namenjenimi muzeju, poskušal ustvariti harmonijo razstavljenih predmetov in notranjosti, z veseljem uporabljati elemente grške, rimske in renesančne arhitekture.
