Il castello di Prizzi fu probabilmente edificato nel 745, quando la Sicilia, che era sotto il dominio bizantino, fu minacciata dalle incursioni musulmane.I Bizantini decisero allora di proteggersi dall’imminente attacco dei musulmani dei costruendo dei castelli e fortilizi a difesa dei loro casali. Pertanto l’imperatore Costantino V Capraino ordinò la costruzione di un castello a Prizzi in quanto per la sua posizione strategica diventava un’eccellente stazione ricevente e trasmittente per segnali di fumo e di fuoco.
Il castello non comprendeva un palazzo e infatti la casa baronale era ubicata nell’attuale piazza, ma era costituito dal mostio, dimora ordinaria del castellano, e dalla cinta muraria.Nel castello insieme al castellano vi abitava il vice castellano, lo scudiero, i soldati, il cappellano e il vice cappellano; costoro erano seguiti dalle loro famiglie cristiane ed edificarono anche una cappella per la celebrazione della messa e dei sacramenti.
Il castello funzionò principalmente da vedetta e da semaforo della valle del Sosio.Forte della sua posizione, rapidamente attirò un notevole numero di gente, che abitavano nei casali circostanti apportando una forte resistenza all’invasione musulmana. I saraceni edificarono altre due torri, adibite poi come campanili: uno presso la Madre Chiesa, l’altro dove oggi si trova la Chiesa di Santo Antonio. Oggi di questa fortezza, ricostruita probabilmente da Matteo Bonello e definitivamente ristrutturata dai Chiaramontani, ne rimangono soltanto i ruderi.
Da queste tre torri, alte circa trenta metri, ebbe origine lo stemma di Prizzi, dove è raffigurato anche un saraceno a guardia.
