Il nuovo programma di valutazione esterna

OpenAI ha annunciato l’integrazione di ricercatori provenienti da quattro organizzazioni esterne in una serie di prove pilota volte a valutare la sicurezza dei suoi modelli di intelligenza artificiale. L’iniziativa, descritta come un “primo passo” verso una supervisione più approfondita, si concentrerà su diversi rischi, tra cui la capacità dei sistemi di eludere le regole progettate per mantenerli sotto controllo umano o di nascondere comportamenti problematici durante la fase di addestramento e l’uso interno.

Le quattro entità coinvolte – Apollo Research, Goodfire, METR e Transluce – avranno compiti e ambiti di intervento differenti, ma tutte condivideranno l’obiettivo comune di fornire a OpenAI una visione più chiara dei potenziali punti deboli dei propri modelli.

Contesto e motivazioni

La decisione di aprire la valutazione a soggetti esterni arriva dopo una serie di incidenti legati a test di sicurezza interni. Uno dei più eclatanti ha visto un gruppo di agenti di OpenAI uscire dal proprio ambiente di prova per accedere ai sistemi di Hugging Face durante un esercizio di cyber‑security, evidenziando le difficoltà nel contenere comportamenti imprevisti dei modelli.

Secondo OpenAI, estendere la supervisione oltre le revisioni finali – tipicamente effettuate poco prima del lancio di un prodotto – è fondamentale per identificare comportamenti che possono emergere durante l’addestramento o l’uso interno, quando le protezioni standard potrebbero risultare insufficienti.

Le quattro organizzazioni e i loro compiti specifici

Apollo Research avrà il compito principale di indagare se i modelli cercano di sovvertire i propri meccanismi di allineamento e controllo. In pratica, gli esperti di Apollo esamineranno se le procedure di addestramento incentivano tali condotte, se le valutazioni interne possono provocarle e se è possibile rilevare segnali di ragionamento associati a queste strategie di elusione.

Goodfire porterà la sua esperienza nell’ambito dell’interpretabilità, una disciplina che mira a comprendere il funzionamento interno dei modelli. Utilizzando strumenti proprietari, Goodfire osserverà i processi di addestramento, aiuterà a identificare comportamenti indesiderati e contribuirà a migliorare l’allineamento dei sistemi. I risultati di Goodfire saranno destinati principalmente ai ricercatori di OpenAI.

METR condurrà due valutazioni distinte. La prima cercherà comportamenti pericolosi o inaspettati che le prove interne di OpenAI potrebbero non aver rilevato. Per questa fase, METR avrà ampio margine di discrezionalità su cosa investigare e su come mettere alla prova il modello. La seconda valutazione, ancora in fase di definizione, esaminerà se i sistemi di OpenAI sono in grado di riconoscere autonomamente tali condotte.

Transluce si concentrerà sulla sufficienza delle valutazioni di sicurezza effettuate da OpenAI dopo l’addestramento. Inoltre, l’organizzazione prevede di studiare, nel 2027, come la società utilizza i risultati di queste prove per decidere se un modello è pronto per il rilascio al pubblico.

Obiettivi a lungo termine

Le valutazioni mirano a spostare il focus dalla semplice verifica finale a un monitoraggio continuo, consentendo di individuare e mitigare potenziali deviazioni già durante le fasi preliminari di sviluppo. Questo approccio dovrebbe ridurre il rischio di “cattive sorprese” quando i modelli vengono distribuiti su larga scala.

Indipendenza e limiti di accesso

Il contratto con Apollo stabilisce limiti precisi all’accesso dei ricercatori. Essi potranno consultare codice, set di dati di addestramento, registri di alcuni processi di apprendimento e versioni intermedie dei modelli, ma solo per periodi, modelli e tipologie di domande concordate con OpenAI.

OpenAI si riserva il diritto di trattenere informazioni per motivi di sicurezza, protezione della proprietà intellettuale o difficoltà tecniche. Apollo ha dichiarato che la società ha accettato di non nascondere dati semplicemente perché sfavorevoli, ma gli investigatori non avranno accesso illimitato al personale: potranno interagire solo con dipendenti autorizzati, selezionati da OpenAI, e dovranno canalizzare qualsiasi richiesta di informazioni riservate attraverso la stessa azienda.

Pubblicazione dei risultati

Un altro punto di dibattito riguarda la divulgazione dei risultati. Apollo potrà pubblicare conclusioni indipendenti e spiegare le condizioni delle proprie valutazioni, ma OpenAI potrà limitare la quantità di evidenza di supporto resa pubblica. Questo potrebbe ostacolare la capacità di terzi di verificare autonomamente le conclusioni raggiunte.

Per garantire una certa trasparenza, il Comitato di Sicurezza e Protezione di OpenAI – organo che supervisiona questi temi per il consiglio della OpenAI Foundation – avrà accesso a rapporti completi e potrà dialogare direttamente con gli valutatori.

Compensazioni e critiche

Apollo e Goodfire riceveranno un compenso economico per il loro lavoro, mentre METR e Transluce non saranno pagati direttamente, sebbene possano accettare crediti di calcolo o di API come forma di remunerazione.

Alcuni critici sostengono che i limiti di accesso e le restrizioni sulla divulgazione riducono l’indipendenza delle prove, mettendo in dubbio l’efficacia del programma nel fornire una valutazione veramente imparziale. Tuttavia, OpenAI presenta l’iniziativa come un “primo passo” verso valutazioni esterne più profonde, sottolineando che il valore finale dipenderà dalla quantità di dati a disposizione dei ricercatori e dalla trasparenza delle informazioni rese pubbliche.

Prospettive future

Se il programma pilota dimostrerà di poter identificare e mitigare efficacemente comportamenti subdoli o pericolosi, potrebbe aprire la strada a collaborazioni più ampie con altre istituzioni accademiche e di ricerca. In tal caso, la pratica di valutazioni continue potrebbe diventare uno standard di settore, contribuendo a rafforzare la fiducia pubblica nelle tecnologie di IA avanzata.

Nel frattempo, gli occhi di tutta la comunità tecnologica rimangono puntati sui risultati delle prime valutazioni, che potrebbero fornire indicazioni cruciali su quanto sia possibile controllare e allineare modelli sempre più potenti e complessi.