Na nádvoří jsou v krytém lapidáriu vystaveny původní architektonické prvky z Vysoké brány: pískovcové znaky cechů a znak království českého ze zábradlí ochozu a hodinový zvon cimbál. Mimo jiné je zde k vidění také pískovcový lev z dnes již neexistující kašny na náměstí a znak města Rakovníka z budovy radnice. U hradební zdi jsou pak opřeny další historické kamenné památky (náhrobky). V protějším rohu je umístěna původní kamenná pec z archeologického výzkumu slovanské chaty v Roztokách u Prahy, za ní jsou v několika voliérách chováni zástupci ptačí říše (výr, hrdličky) a vstupuje se odtud do Pražské brány. Vedle ní je od roku 1937 umístěna busta spisovatele Zikmunda Wintra od sochaře Josefa Fojtíka. Vpředu před hlavním vchodem do budovy muzea je bylinková zahrádka. Vpravo byla v roce 2005 umístěna busta výtvarníka Vladimíra Komárka od akademického sochaře Miroslava Pankráce na památku jeho poslední výstavy v muzeu, během níž malíř zemřel.