Idrijski grad, ki dominira nad starim delom mesta, je ohranil zgodovinsko ime Gewerkenegg, kar v nemškem jeziku pomeni rudniški grad. Sezidan je bil v letih 1522–1533 za potrebe Rudnika živega srebra. V njem so sprva shranjevali žito in živo srebro, kasneje pa je več kot 400 let nudil prostore rudniški upravi. Tekom stoletij so bili v njem nameščeni tudi različni uradi, šole in stanovalci. Renesančni grajski kompleks s tremi okroglimi vogalnimi stolpi in čelnim stolpom je sredi 18. stoletja doživel baročno predelavo – uredili so notranje arkadno dvorišče in ga poslikali z dekorativnimi freskami. Današnjo podobo je dobil v prvi polovici 90. let 20. stoletja. Danes je namenjen muzejski dejavnosti, glasbeni šoli ter v manjši meri gostinskim in trgovskim lokalom.
Mestni muzej ima na gradu Gewerkenegg upravne prostore, javnosti pa je na ogled osrednja stalna razstava Pet stoletij rudnika živega srebra in mesta Idrije, na kateri je prikazan poltisočletni razvoj rudnika v podzemlju in vzporedno z njim rast mesta na površini. Na razstavi so predstavljeni tehnološki procesi, zgodovinski dogodki, življenjske zgodbe in usode. Pri tem so v pomoč originalni predmeti, replike in kopije, rudniške karte, zemljevidi, sheme, risbe, makete in številne fotografije. Muzejska razstava zavzema večino prvega in drugega grajskega nadstropja, nameščena je v 25 razstavnih prostorih s skupno površino nad 1.300 m2.
Za pregledno stalno razstavo je Mestni muzej Idrija leta 1997 prejel nagrado fundacije Luigi Micheletti za najboljši evropski muzej industrijske in tehniške dediščine, ki jo vsako leto podeljuje Evropski muzejski forum.