Muuseumihoone koosneb kahest sajanditevanusest ehitusest. Vanem nendest on Raekoja tn. 6 – endine vanglahoone (odelie, Büttelei), mille rajamislugu kaob 14. sajandi algupoolde. Tollane hoone ehitati 1441.–42. aastal põhjalikult ringi, nagu võib näha Tallinna Linnaarhiivis leiduvatest ehitusarvetest. Vana vangla on jäänud siiski uue ehituse sisse ja mingi osa sellest kandis veel pikka aega “vana vangla” nimetust.
Valminud hoone oli kahekordne kellerdatud ehitus, mille keldris ja II korrusel olid kaks kitsast, silindervõlviga kaetud kogu hoone pikkust kongi, mis hooviseinas lõppesid danskeriga (käimla). Enam-vähem sama ruumiskeemi on järgitud ka I korrusel, ainult kongid on siin kitsamad ja nende vahele jääb ahtake võlvkäik pääsuks hoovile. Lühem on ka parempoolne kong ning tema ette jääb väike eesruum, kust algavad keldrisse ja II korrusele viivad müüritrepid, ning kuhu avaneb sügavas seinaorvas asuv lihtsas raidportaalis vangla peauks. Hoone vanast otstarbest kõnelesid veel sajandi alguses keldrikongide seintel rippunud massiivsed raudrõngad, mille külge vange aheldati.
Vanglat on korduvalt remonditud. 1752. aastal on teda kirjeldatud üsna lagunevana; ilmselt tollasest remondist pärinevad I korruse tänavaäärses osas nähtavad ristvõlvid. Raevangla kasutamine oli tihedalt seotud raekojaga, mille II korrusel istus linnakohus. Ühenduse hõlbustamiseks oli raekoja tagaseinas vanglaportaali vastas uks, mille kaudu pääses rae keldrisse ja sealt edasi müüritrepi kaudu raesaali, kus õigust mõisteti. 18. sajandil avati Rüütli tänaval uus vangla-kasvatusmaja ning vana jäi hulguste ja kerjuste varjupaigaks. Rahvasuus muutus hoone nimetuski ja Bütteleist (vangla) tehti Bottelei (kerjamine).
1832. aastal müüdi hoone eravaldusse.
Vangla kõrval, Raekoja tn. 4, asub samavanune – 14. sajandist pärinev vanglaülema ja kohtuteenrite elamu. Varasema väikese hoone suurendamiseks osteti 1419. aastal selle ja vangla vahele jäänud väike ehitis ning liideti 1440-ndail aastail ümberehitusega mõlemad väikesed majad üheks hooneks. Tüüpilisena elamuile on selle hoone kõik vahelaed puidust; eripäraks on aga nii eeskoja (diele) kui elutoa (dornse) paiknemine tänava ääres, sest tavaliselt asus elutuba kinnistu sügavuses eeskoja taga. Säilinud on elamuile iseloomulik korrustevaheliste sirgete müüritreppide süsteem hoone tagaseinas ja mantekorstnaga kööginurk eeskojas. Hoone portaal on ilmselt 16. sajandil tehtud remondi ajal ümarkaarseks muudetud.