É un complesso formato da ambienti distinti e costruiti in epoche diverse a partire dal XIII secolo dalla famiglia Bonacolsi, poi collegati da lunghi corridoi da Guglielmo Gonzaga. Per la sua natura composita è anche definito città nella città. L'interno del palazzo è quasi spoglio perché una volta impoveriti i Gonzaga dovettero vendere opere d'arte (soprattutto a Carlo I d'Inghilterra) e arredi, parte dei quali sono stati rubati da Napoleone.