Nel 1160 la famiglia Brusati fece costruire il Castello in
posizione strategica su di uno sperone roccioso, da una parte il paese di
Gorzone di Darfo e dall'altra una scarpata sul fiume Dezzo. La costruzione è
austera e spoglia ma ha un
grande parco e una bella facciata. Sotto il castello erano scavate delle gallerie, oggi in parte crollate, che conducevano all'esterno, al fiume Dezzo e alla Casa Caffi dei Federici del ramo cadetto. Nel
bel giardino interno un
pozzo per la raccolta dell'acqua piovana e un
loggiato con archi e colonne con gli stemmi delle famiglie. Le sale interne della residenza hanno pareti decorate e soffitti a cassettone. Le finestre sono ad arco acuto, si presume vi fossero anche una o più torri delle quali non rimane però traccia.
Nel 1288 su ordine della città di Brescia
il castello venne distrutto e saccheggiato per essere poi ricostruito alla fine del XIII secolo a seguito della pace fatta tra la famiglia Federici e il Comune di Brescia per intercessione di Matteo Visconti.
Tra il 1490 e il 1495, a seguito della pax veneta, il castello venne ampliato con un loggiato e
si trasformò in residenza signorile.