Il complesso dei fabbricati che costituisce l’insieme del palazzo Visconti - Castelli è posto a Nord-Est del centro cittadino con affaccio sulle vie Olona, San Vittore, D’Annunzio, Foscolo e Largo Sant’Angelo.
La parte verso Nord è certamente la più antica e probabilmente era l’abitazione dei Signori Meraviglia e Gallarati.
È costituita da un corpo di fabbrica ad L, con la fronte principale rivolta a Nord e con l’ala ad abitazione rivolta ad Est, verso la valle.
L’andito carraio dà, prima di arrivare al cortile, ad un loggiato delimitato da colonne con travature superiori in legno, che sostengono un piano di abitazione.
Precedentemente, fra i pilastri, esistevano archi a tutto sesto con il piano d’imposta superiore all’attuale piano del solaio in legno.
Sulla parete di sinistra di questo loggiato è ancora visibile la sinopia che raffigurava lo stemma della famiglia Castelli.
La parete verso il cortile dell’ala orientale era, fino a non molti anni fa, decorata con affreschi di scene campestri, le cui sinopie sono ancora evidenti. La facciata su strada è stata rimaneggiata per adattare le aperture esistenti allo stile di quelle della nuova costruzione.

L’ala occidentale è tutta cantinata, a differenza dell’ala verso la strada.
Questa parte di fabbricato è collegata al cortile del nuovo fabbricato mediante un passaggio coperto formato con pilastri in mattoni a forte spessore sormontati da archi. Questo passaggio collega, verso Ovest, il cortile con quella che era la casa del fattore.
Il corpo di fabbrica della villa Castelli era previsto da 3 corpi di fabbrica tra loro collegati a forma di I, interrotta verso Nord (si notano le chiamate in mattoni in corrispondenza dei muri perimetrali e di spina) dove doveva continuare con un corpo centrale e con altri 3 corpi uguali e simmetrici al corpo centrale.
La parte esistente è composta da un piano cantinato e da tre piani fuori terra, di cui, quello centrale, a mezzanino. Le strutture portanti sono in muratura di mattoni pieni di cotto fatti a mano; pure in mattoni fatti a mano sono le volte a botte dei locali al P.T. e la volta a plafone del vano scala.
I soffitti del 2° piano sono in legno a cassettone; il tetto ha struttura portante in legno e il manto di copertura originale era in tegole a canali (coppi) fatti a mano.
La gronda a sbalzo è formata da lastre di beola grigia, sostenute da mensolotti di granito rosa di Baveno. Anche la scala di accesso al primo e secondo piano, a sbalzo, è in granito rosa di Baveno.
Di beola grigia sono invece il pavimento del porticato al P.T. ed i pianerottoli delle scale. Per questi ultimi pavimenti è da notare la notevole dimensione delle lastre. Dalle caratteristiche architettoniche e dalle poche notizie disponibili, l’epoca della costruzione della villa si deve far risalire intorno alla fine del ‘700.
Di particolare si deve rilevare la disposizione dei corpi di fabbrica che si discosta dalle disposizioni usuali ad U progettate dagli architetti dell’epoca.
Molti sono i particolari interessanti sotto un profilo artistico che compongono l’architettura della villa. Pregevoli sono le colonne binate a sostegno di archi nel porticato al P.T.; la balaustra di contenimento del terrazzo al 2° piano in arenaria, il parapetto della scala in ferro battuto, i soffitti in legno a cassettone del 2° piano con i quadrotti decorati.
I soffitti a volta del P.T. sono affrescati, in buono stato di conservazione, come pure la volta a soffitto del vano scala dove sono raffiguranti motivi delle 4 stagioni.
Come già in precedenza accennato la villa Castelli era stata progettata di dimensioni ben più ampie di quella effettivamente costruita e tuttora esistente.
Doveva sorgere imponente in un grande giardino-parco che con dolce declivio scendeva verso Est.
Non è dato di sapere il perché la villa fu interrotta. Si sa però di certo che il fabbricato subì, nel tempo, diverse utilizzazioni (filanda, magazzino bozzoli, abitazione) e trasformazioni, ultima fra le quali il frazionamento dell’intero immobile in piccoli appartamenti popolari.
Contemporaneamente al frazionamento del fabbricato, venne lottizzato anche l’intero parco e il giardino antistante la villa.
Su questi lotti sorsero in seguito numerosissime piccole costruzioni che finirono per soffocare la villa, privandola dello stupendo scenario naturale in cui sorgeva.
In un certo qual modo la sorte del fabbricato è stata più fortunata; infatti anche se, nel suo complesso, è stato oggetto di danni notevoli, si pensa ad un restauro e, a tal proposito, l’Amministrazione Comunale sta acquistando i singoli alloggi onde poter intervenire con maggiore disponibilità.