A 1200 m sovrastante all'abitato di Villa la famiglia Nobili fece costruire, nel secolo XIII, il castello di Lozio. In posizione strategicamente individuata per dominare e vigilare sulla Val di Lozio, nacque questa fortezza dalla quale si poteva tenere sotto lo sguardo anche la cima della Concarena.
La struttura aveva una superficie di circa 300 metri quadrati e si componeva di circa otto locali e due corti. Sopra il roccione era posta anche una torre di avvistamento presumibilmente a due piani.
Dai Nobili passò per un breve periodo ai Federici (1410/1428) per poi ritornare sotto la gestione dei Nobili ed ora è di proprietà del comune di Lozio.

SCOPRI L'ITINERARIO DEDICATO AI CASTELLI DELLA VALLECAMONICA o Quello PASSEGGIANDO NELL'ALTOPIANO DEL SOLE

Il 3 luglio 1403 Baroncino II della famiglia Nobili di Lozio con un piccolo esercito aveva espugnato Brescia facendo strage di ghibellini e cacciando il vescovo in carica Giacomo Pusterla filo ghibellino. Secondo quanto narrato da Padre Gregorio Brunelli nel 1410 la famiglia Federici con il supporto dei ghibellini milanese, decise di sterminare l'intera famiglia di Baroncino II Nobili per punirlo e chiudere le diatribe.
Dal momento che il castello dei Nobili si trova a strapiombo sulla vallata ed era praticamente inespugnabile, i Federici escogitarono uno stratagemma per cogliere la famiglia Nobili di sorpresa proprio la notte di Natale quando la famiglia si sarebbe trovata nella frazione Villa non protetta dalla rocca. 
I Nobili non si aspettavano l'assalto dei Federici. Gli assalitori deviando il corso del fiume avevano inondato le vie del paese. Il freddo della notte aveva gelato l'acqua rendendo le strade impraticabili ed impedendo ai Nobili la fuga. 
L'attacco fu una carneficina, solo due giovani, lontano da Lozio in quanto si trovavano per studi a Bergamo si salvarono... così narra Padre Gregorio Brunelli.