Fu costruito nel 1490 su progetto dell'architetto Francesco di Giorgio Martini
sui resti di un'antica villa romana, realizzato su un promontorio alto circa 100m era destinato
a controllare un ampio braccio di mare dall'acropoli di Cuma al golfo di Pozzuoli per difendersi
dalle incursioni saracene. La sua invidiabile posizione garantisce ai visitatori un panorama mozzafiato.
Nel 1538 una grande eruzione che sconvolse i campi flegrei danneggiò anche il castello di Baia;
a seguito di quest' evento Don Pedro de Toledo lo ricostruì e lo ampliò. Fu abbandonato
progressivamente dopo l'unità d'Italia, dal 1993 ospita il museo archeologico dei campi flegrei.