Le Cannelle sono state teatro di molti episodi barbareschi; il 15 marzo 1514 una fusta di pirati turchi riuscì a catturare il galeone di Pietro Stella di Marsilia. La nave era carica di salumi, panni e vino e fu depredata dai pirati mentre l'equipaggio riuscì a salvarsi scappando su per la collina.
La torre che fu costruita per proteggere la baia fu denominata in vari modi per distinguerla dall'omonima presente a Talamone e, più precisamente, Torre de'Cannelli, Torre delle Cannelle del Monte o Torre delle Cannelle Argentate ma la baia è da sempre conosciuta col semplice nome delle Cannelle.
