Fu fondato nel 1316 sul colle di S.Pietro dal Conte Francesco I° Ventimiglia, su una costruzione bizantina. Il Castello presenta quattro torri angolari più una torre cilindrica tipica della architettura  angioina. La costruzione attuale manca del terzo piano, della merlatura ghibellina e di un loggiato che trovavasi nel prospetto della corte interna. Al suo interno vi è una preziosa cappella dedicata a S.Anna, patrona di Castelbuono, adornata in tutte le pareti, di magnifici stucchi dei fratelli Giuseppe e Giacomo Serpotta.
In una preziosa ed artistica urna d'argento è custodito il Sacro Teschio di S.Anna, oggetto di grandiosi festeggiamenti che si svolgono ogni anno dal 17 al 27 luglio.