Fu proprio questo piccolo centro a dare il nome alla nobile famiglia dei Marchesi Del Carretto: alla morte di Enrico il Gurcio (1185 ca.), capostipite della famiglia,  i due figli si spartirono la signoria paterna, Ottone ereditò la zona delle Langhe e l'adiacente parte della Val Bormida, assumendo il titolo di Marchese del Carretto, mentre Enrico II ottenne la marca di  Savona, che oltre al Finalese comprendeva la zona di Millesimo ed altri territori in Piemonte.

L'inizio della costruzione del castello risalirebbe a questo periodo in cui Ottone si insediò in queste terre dove un centro di amministrazione del potere e dei pedaggi era vitale.

Oggi i ruderi del castello, facilmente raggiungibili dalla strada, presentano ancora alcuni elementi caratteristici nonostante il lato sud-ovest siano crollato in seguito a una frana.

L'altissima torre a base quadrata, usata per osservare la valle sottostante e per le segnalazioni, è priva di un lato, tale mancanza consente di osservare le struttura interne come la volta e i basamenti delle mensole per accedere alla sommità di guardia; esternamente si possono notare gli angoli a bugnato e i tre ordini di archetti che adornano la parte superiore,  tipica decorazione dell'area carrettesca del secolo XIII-XIV; alla torre si accedeva attraverso un unica porta che si trovava a metà altezza.

Nella cortina difensiva a pianta quadrangolare sono presenti feritoie verticali, per la difesa del castello, sia in posizione sopraelevata lungo il cammino di ronda che a terra.