Gli agenti robot di intelligenza artificiale, responsabili di caricare in tempo reale pagine web a nome di un utente che attende una risposta, saranno bloccati di default su una parte del web a partire dal 15 settembre. Cloudflare ha annunciato questa modifica il 1° luglio, e gran parte delle attenzioni finora si sono concentrate su Google. La parte più importante dell’annuncio riguarda però gli sviluppatori di agenti, e cosa Cloudflare offre loro in cambio di collaborazione.
Cloudflare ha sostituito il semplice interruttore per bloccare i crawler AI con tre nuove categorie. «Search» si riferisce ai crawler che analizzano pagine per aiutare a fornire risposte in seguito. «Agent» include i sistemi automatizzati che agiscono in tempo reale per un utente, come il crawler FetchBot di ChatGPT o gli agenti che guidano il browser. «Training» indica invece i crawler che caricano contenuti per addestrare i modelli IA. Questi controlli sono gia attivi dal 1° luglio per tutti i clienti, incluso il piano gratuito.
A partire dal 15 settembre, le regole predefinite cambieranno. Gli agenti di categoria «Training» e «Agent» saranno bloccati su pagine che mostrano annunci, mentre il crawler «Search» sarà ancora permesso. Queste modifiche si applicheranno ai domini che si attivano nuovi su Cloudflare, a nuovi siti creati da utenti esistenti e a tutti i clienti attualmente in utilizzo gratuito.
Chi non vuole queste modifiche può annullarle attraverso le proprie impostazioni di sicurezza prima della data limite.
Come funziona il blocco sugli agenti?
Cloudflare ha argomentato che la presenza di un annuncio è una prova che una pagina è fatta per far posare gli occhi a un essere umano. Un crawler di ricerca che reindirizza un utente è un riferimento autorevole. Un bot che legge una pagina e fornisce in tempo reale informazioni ad un’altra persona non lo è.
Fino ad ora, gli agenti IA avevano agito sulla base del presupposto che il Web aperto restasse aperto. Ad esempio:
- Un agente di ricerca controlla i prezzi di un concorrente
- Uno strumento di monitoraggio rileva le informazioni di un fornitore
- Un agente di supporto clienti estrae i fogli di dati di produzione di un produttore
Nessuno di questi usi richiede una licenza, e finora non ne aveva neanche bisogno.
Cloudflare gestisce una grande fetta del traffico globale, e i suoi blocchi operano a livello di rete, più che semplicemente attraverso una richiesta robots.txt che potrebbe essere ignorata. Le pagine con pubblicità sono esattamente quelle che gli agenti vogliono, perché lì si trovano informazioni su news, recensioni, prezzi e dati di prodotti. Il problema per un agente aziendale non è una causa legale, ma il silenzio, oppure una risposta costruita solo da ciò che riesca comunque a raggiungere.
Complicazioni e implicazioni
Uno dei problemi è legato a Google. Googlebot utilizza il medesimo crawler sia per la ricerca che per l’addestramento. Quindi, se un sito blocca il crawler «Training», finisce per bloccare Googlebot in generale. Matthew Prince, CEO di Cloudflare, ha riferito che la società spera che queste modifiche «incoraggeranno i crawler di uso misto a separare Search da Agent e Training», esprimendo implicitamente la pressione che intende applicare.
Come richiedere l’autorizzazione ai crawler agenti?
Chi gestisce agenti IA deve iniziare identificando quali dei propri account Cloudflare saranno considerati di classe «Agent». Questa classificazione si basa sul comportamento, non sull’appartenenza formale a una categoria. Quindi, un agente di ricerca che naviga in tempo reale cade nella categoria «Agent» indipendentemente dal fatto che il gestore lo consideri un crawler.
Aspettatevi una copertura ridotta, e non un fallimento completo, per quanto l’accesso ai siti con annunci sarà bloccato, mentre il resto resterà disponibile. L’unica soluzione disponibile è un accesso trattato, non un semplice cambiamento del nome tecnico del crawler.
I proprietari di pubblicazioni hanno invece un’altra serie di compiti da svolgere. Controllate prima di tutto la propria fascia di cliente, perché i clienti esistenti sul piano gratuito saranno automaticamente passati alla nuove regole il 15 settembre, dettaglio quasi sempre trascurato dai commenti. Decidete inoltre se blocchiare il «Training» è una priorità per voi, considerando che Googlebot verrebbe bloccato automaticamente a sua volta, nonché anche la visibilità nel motore di ricerca.
Un modello economico nuovo
Una tendenza che si osserva è l’emergere del modello «pay per use», dove i crawler pagano un prezzo per accedere al contenuto. Ad esempio, Ceramic.ai paga gli editori quando il loro contenuto viene utilizzato in risultati AI-based, e You.com paga quando un agente ha accesso al contenuto premium.
Cloudflare ha dichiarato che più della metà del traffico crawler AI riguarda pagine web che vengono nuovamente scaricate nonostante non siano cambiate da tempo. Ciò rappresenta uno spreco che potrebbe essere prezzato, rendendo più efficiente l’economia del Web aperto.
Questa è quindi la prima fase di una battaglia per il controllo del contenuto, dove il riscontro economico sostituisce la semplice barriera di protezione.
Potenziale debolezza del modello
Una debolezza del sistema risiede nella sua stessa classificazione. Gli agenti, il Training e la ricerca rappresentano categorie definite dall’industria AI. Tuttavia, un’azienda che preferisca che il proprio utilizzo non venga classificato come Training avrebbe un interesse evidente per evitare questa etichetta. L’annuncio non spiega come si possa evitare tale manovra.
L’accesso gratuito e illimitato al Web aperto ha caratterizzato Internet per oltre trent’anni. Ora, il costo di quel privilegio comincia a farsi avanti. Chi prevede e struttura l’accesso ai suoi agenti prima del 15 settembre ha solo un problema lavorabile da risolvere. Chi invece scopre il blocco in tempo di esecuzione dovrà riorganizzare velocemente e in autonomia.