Cloudflare lancia un nuovo strumento gratuito per fermare i bot che rubano contenuti ai siti web per addestrare l'IA

Cloudflare lancia un nuovo strumento gratuito per fermare i bot che rubano contenuti ai siti web per addestrare l'IA

> Secondo la società, i bot di intelligenza artificiale hanno avuto accesso a circa il 39% delle principali 'proprietà internet' attraverso Cloudflare nel giugno 2024.

Cloudflare lancia un nuovo strumento per proteggere i siti web dal web scraping delle AI Cloudflare, azienda leader nei servizi di sicurezza web che gestisce circa il 20% del traffico internet globale, ha annunciato il lancio di un nuovo strumento per contrastare il web scraping da parte dei bot AI.

Questa nuova funzionalità, disponibile per tutti i clienti Cloudflare inclusi quelli che utilizzano il piano gratuito, consente di bloccare l'accesso ai contenuti testuali del sito da parte di qualsiasi bot AI, anche quelli che seguono i protocolli standard per lo scraping.

Il problema crescente del web scraping per l'addestramento delle AI

Con la diffusione dell'intelligenza artificiale generativa, molte aziende tech necessitano di grandi quantità di contenuti testuali per addestrare i loro chatbot e modelli linguistici. Per questo motivo, il web scraping automatizzato è diventato una pratica sempre più diffusa.

Secondo i dati forniti da Cloudflare, a giugno 2024 i bot AI hanno avuto accesso a circa il 39% dei principali siti web che utilizzano i loro servizi. Tuttavia, meno del 3% di questi siti aveva adottato misure per bloccare tali bot.

I principali bot AI che effettuano web scraping

Cloudflare ha identificato i quattro bot più attivi nel web scraping sui siti che utilizzano i suoi servizi: - Bytespider: utilizzato da Bytedance (proprietaria di TikTok) per addestrare i suoi modelli linguistici, tra cui Doubao - Amazonbot: usato per migliorare le capacità di risposta di Alexa - ClaudeBot: impiegato per l'addestramento di Claude AI - GPTBot: utilizzato per il training di ChatGPT

Come funziona il nuovo strumento di Cloudflare

L'attivazione della nuova funzionalità anti-scraping è molto semplice per gli utenti Cloudflare: 1. Accedere alla dashboard 2. Andare nella sezione "Security" e poi "Bots" 3. Attivare l'opzione "AI Scrapers and Crawlers"

Una volta attivato, lo strumento bloccherà automaticamente l'accesso ai contenuti del sito da parte di qualsiasi bot AI identificato. Cloudflare assicura che la funzionalità si aggiornerà automaticamente per riconoscere nuovi bot man mano che questi evolveranno.

Un passo avanti nella protezione dei contenuti web

Questo nuovo strumento rappresenta un'evoluzione rispetto alla precedente funzionalità lanciata da Cloudflare a settembre, che consentiva di bloccare solo i bot AI "non autorizzati".

La decisione di estendere il blocco a tutti i bot AI, anche quelli che seguono i protocolli standard, nasce dalla necessità di contrastare le tecniche sempre più sofisticate utilizzate per aggirare i sistemi di protezione.

Con questa mossa, Cloudflare offre ai proprietari di siti web un maggiore controllo sui propri contenuti, consentendo loro di decidere se renderli o meno accessibili per l'addestramento dei modelli AI di terze parti.

Logo AiBay