La costruzione del seminario fu iniziata nel 1568 da Monsignor Gianni Oliva ed ampliata con vari interventi sino alla fine del settecento. La facciata è completamente in laterizio con inserti in pietra nelle grandi semicolonne e alla base dei pilastri del porticato; sulla facciata prospiciente Via Arnensie mostra due imponenti avancorpi, ornati da un cornicione in stile barocco, divisi da un grande terrazzo.
All’interno si trova la cappella privata decorata in stile settecentesco e un piccolo teatro intitolato ad Alessandro Manzoni. La maggior parte delle sale del palazzo sono adibite ad aule.
