Altare divenne feudo dei Marchesi Del Carretto nel 1142 e fu fortificato con la costruzione del castello, probabilmente tra il XIII e il XIV secolo, per controllare il valico del colle di Cadibona fondamentale per i collegamenti con la costa, in particolare con il comune di Savona: il maniero sorse sulla cima del colle da cui si dominano il centro abitato e la vallata.

Nel 1268 i tre figli di Giacomo Del Carretto divisero l'eredità paterna in tre terzieri: il documento ufficiale che sancì le rispettive parti cita il paese di Altare ma non riferisce la presenza di nessuna fortificazione mentre il castello è citato nell'investitura con cui l'imperatore Carlo IV nel 1358 confermò i diritti di Bonifacio Del Carretto sui territori che costituivano il terziere di Millesimo.

Gian Mario Filelfo, cronista della guerra del Finale (1447-1452), cita il castello quando il Marchese Galeotto Del Carretto scappò da Finale caduta in mano dei Genovesi; egli infatti si rifugiò ad Altare dopo aver percorso dieci chilometri a piedi durante la notte.

Nel 1644 il comandante spagnolo Nicolò Ruggiero decise di diroccare il castello affinché non potesse essere utilizzato dai  francesi, loro nemici: oggi restano alcune parti della cinta muraria e la base di una torre alta circa tre metri.