Uno dei punti di forza degli attuali sistemi di intelligenza artificiale è la loro capacità di adattarsi agli utenti. Ogni volta che un assistente basato sull’AI svolge un compito, impara nello stesso tempo lo stile e le preferenze dell'utente, che vengono incorporate come contesto per compiti futuri. Maggiori informazioni e una comprensione più profonda del contesto sono concepiti per migliorare l’efficacia dell’AI ogni volta che viene utilizzata. Almeno, questa è la teoria.
Nuove ricerche, però, suggeriscono che questa abilità può avere un lato negativo. Mercoledì, i ricercatori dell'azienda di intelligenza artificiale Writer hanno pubblicato due studi che dimostravano come i sistemi di memoria comuni possano rendere i modelli meno precisi. Quando l’input dell’utente riempie una parte più grande della finestra di contesto dell’AI, essa diventa più malleabile agli sbagli o alle preferenze dell’utente, perdendo di vista l’accuratezza.
“Volevamo caratterizzare con precisione la frequenza con cui un modello è in grado di concentrarsi realmente sulle preferenze dell’utente piuttosto che fornire una risposta potenzialmente errata”, ha commentato Dan Bikel, capo dell’intelligenza artificiale di Writer, coinvolto negli studi. Secondo lui, “con ogni ulteriore memorizzazione delle preferenze dell’utente e con ogni successiva estrazione, si corre un rischio crescente di errore.”
Esperimento sui preferiti
Nella prima sperimentazione, i ricercatori hanno testato modelli AI registrando che il libro preferito dell’utente fosse "Station Eleven", quindi domandando ai modelli di nominare un libro bestseller distopico. I modelli tendevano a rispondere con "Station Eleven" anche quando l’informazione non era rilevante alla domanda. Questo fenomeno aumentava ulteriormente quando venivano utilizzati strumenti di compressione della memoria come Mem0 e Zep.
Secondo l’articolo, “tutti i sistemi di memoria lottano fondamentalmente per distinguere il contesto rilevante dagli ancoraggi irrilevanti, compromettendo fortemente la diversità e la creatività, introducendo strade non previste di bias che possono limitare l’utilità del sistema,” afferma lo studio.
Peggioramento delle prestazioni
Nel secondo studio, i ricercatori hanno evidenziato come lo stesso effetto possa degradare le prestazioni del modello. Essi hanno presentato un utente con errori concepionali rispetto al settore finanziario e hanno poi chiesto all’AI di analizzare le prestazioni di un’azienda. Più contesto forniva il modello, più le sue risposte si deterioravano.
Nel documento si legge: “Senza memoria né personalizzazione, il modello AI valuta correttamente che l’azienda è un affare capital-intensivo che soffre di alta fuga di clienti. Ma con quelle funzioni attivate, il modello è felice di modificare la sua risposta per accordarsi con l’errore dell’utente o di fornirne una scorretta in base alle precedenti preferenze di quest’ultimo.”
Sistemi di protezione avanzata
Vale la pena notare che la ricerca non ha esaminato il recente modello Opus 4.8 di Anthropic, addestrato appositamente per contraddire attivamente gli input errati. Tuttavia, i modelli testati sono diversi, il che dimostra che il problema riscontrato possa essere comune e persistente. È una dimostrazione del delicato equilibrio dei contesti AI, mostrando come strumenti utili possano avere effetti collaterali indesiderati quando rompono quel bilanciamento.
I risultati sottolineano l’importanza di un’analisi più attenta sull’uso degli strumenti di contesto e memoria, specialmente quando si tratta di applicazioni critiche come la finanza, la salute o la gestione dati personali. Mentre l’AI continua a integrare tecnologie più sofisticate, la gestione dei bias e dei contesti errati sarà cruciale per garantire la sua affidabilità futura.