Den ældste del af det fredede hus er bygget omkring 1415 – 1420. Det er en hvælvet kælder bygget af ”munkesten”, deraf navnet.

Der findes kun omkring seks lignende rum i Danmark. Dengang har bygningen været et stenhus, en herregård af anseelig størrelse.

Det var sandsynligvis Tue Nielsen, den første i adelsslægten ”De Bogense Herremænd” der byggede huset, som i de følgende århundreder fungerede som  herresæde og borgmestergård. Rummet, hvis oprindelige gulvlag ligger en halv meter nede, har fungeret som rådstue, muligvis også som kapel for slægten og i det forrige århundrede som lagerrum for øl og sprit.

En ung pige, Antonia, fra ca. 1650 spøger på stedet.