Dopo la  morte di Enrico I il Guercio, capostipite della famiglia Del Carretto, le sue terre furono suddivise tra i suoi due figli, Enrico II e Ottone I; quest'ultimo, ceduti i sui diritti sulle città di mare, si ritirò nei suoi possedimenti montani: Cairo divenne la capitale del feudo e Ottone I assunse il titolo di Marchese Del Carretto dal nome dell'omonima  frazione Carretto situata a pochi chilometri da Cairo.

Il castello dei Del Carretto venne costruito in questo periodo in posizione dominate sul Borgo e sulla strada Magistra Langarum, fondamentale  via di comunicazione per il commercio, che conduceva a Cortemilia, Alba e Asti.

Per consolidare il proprio potere Ottone cedette nel 1214 le sue terre a Genova da cui riceve ufficialmente l'investitura.

Il castello conobbe un periodo di grandi splendori: nel 1268 Corradino di Svevia, imparentato con i Del Carretto, si fermò a Cairo mentre dalla vicina Provenza si recavano a Cairo numerosi menestrelli e trovatori tra cui Faiquet de Romans e Peire de la Mula; anche il famoso poeta provenzale Rambaldo, che Dante cita nel Purgatorio con nome di Arnaldo, allietò Ottone e la sua corte.

Narra una leggenda che nel 1213 Francesco d'Assisi si fermò a Cairo durante il suo viaggio in Spagna e fu ospite di Ottone I: il santo guarì la figlia sordomuta del Marchese che volle sdebitarsi iniziando la costruzione del convento di San Francesco dove i Marchesi Del Carretto ebbero diritto di sepoltura.

Manfredo IV di Saluzzo acquisì nel 1322 il feudo che passò successivamente agli Scarampi, famiglia di Asti che trasformò il castello nella loro residenza.

Nel XVII secolo il castello fu distrutto durante le guerre dei Savoia che coinvolsero i Gonzaga, divenuti Duchi del Monferrato, la Francia, la Repubblica di Genova e la Spagna che aveva esteso i suoi domini in Val Bormida dopo aver acquisito il Marchesato del Finale dall'ultimo discendente della famiglia Del Carretto, Andrea Sforza. 

Nel 1625 Amedeo I di Savoia occupò Cairo danneggiando sia il Borgo che il castello che viene ridotto in ruderi durante il successivo attacco del 1627 quando il bombardamento nemico non risparmiò l'antico maniero.

Dopo la distruzione del castello gli Scarampi si trasferirono nel palazzo che prese il nome da questa famiglia e che oggi è sede della biblioteca civica.