Gli algoritmi usati per assumere, concedere, credito, valutare rischi clinici o supportare decisioni giudiziarie non sono neutrali. Dai casi Amazon, COMPAS e sanità statunitense emerge come dati storici distorti, feedback loop e fiducia automatica possano trasformare l’intelligenza artificiale in infrastruttura della discriminazione.

Gli algoritmi che prendono decisioni su di noi non sono strumenti neutrali che invochiamo a piacimento: sono infrastrutture, sistemi invisibili che operano prima ancora che ce ne rendiamo conto. E come ogni infrastruttura, incorporano le scelte e i pregiudizi di chi le ha costruite.

Pensiamo alle infrastrutture come a qualcosa di fisico: strade, reti elettriche, acquedotti. Sistemi che danno forma alla vita quotidiana restando invisibili finché non si rompono. Ma oggi esistono infrastrutture di un altro tipo, algoritmi, motori di raccomandazione, sistemi di scoring automatico che strutturano l’accesso a opportunità concrete: un lavoro, un prestito, una diagnosi, una libertà vigilata. E che, esattamente come quelle fisiche, riflettono le scelte politiche e sociali di chi le ha progettate.

È da qui che conviene partire per smontare un presupposto insidioso: che affidare una decisione a un sistema automatizzato significhi renderla oggettiva. Non è così. Significa semplicemente renderla più difficile da vedere e da contestare.

Un sistema apparentemente equo

Immaginate di candidarvi per un lavoro. Il vostro curriculum viene letto, o meglio, scansionato, da un sistema automatizzato che in pochi secondi decide se meritate un colloquio o no. Il sistema non vi conosce, non ha pregiudizi personali, non è stanco né di cattivo umore. Sembra, a prima vista, uno scenario più equo di una selezione affidata a un recruiter umano con le sue simpatie e i suoi schemi mentali inconsci.

Ma è davvero così? La risposta, documentata da anni di ricerca, è no, o almeno non necessariamente.

Tra il 2014 e il 2017, Amazon ha sviluppato internamente un sistema di intelligenza artificiale per la selezione automatica dei curricula. Il modello era stato addestrato sui profili dei dipendenti assunti negli anni precedenti, che erano in larghissima parte uomini. Risultato: il sistema aveva imparato a penalizzare automaticamente i curricula che contenevano parole come “women’s” (come in “women’s chess club”) o che provenivano da college femminili. Amazon ha poi dismesso il progetto, ma l’episodio ha aperto una domanda che da allora non ha smesso di crescere: se un algoritmo impara da dati storici distorti, chi garantisce che le sue decisioni siano giuste?

Il presupposto dell’oggettività

Il presupposto implicito che una macchina sia più obiettiva di un essere umano è oggi al centro di un dibattito scientifico e politico che riguarda ambiti molto più ampi della selezione del personale. Riguarda il credito bancario, la valutazione del rischio clinico, i sistemi di sorveglianza, le raccomandazioni dei servizi sociali. E riguarda soprattutto le persone che, in questi processi, non hanno voce.

Il caso Amazon è stato uno tra i primi a diventare di dominio pubblico, ma è lontano dall’essere isolato. Nel 2018, la ricercatrice Joy Buolamwini del MIT, insieme a Timnit Gebru, ha pubblicato uno studio destinato a diventare un punto di riferimento nell’intero settore. Analizzando i sistemi commerciali di classificazione del genere prodotti da Microsoft, IBM e Face+, le autrici hanno misurato tassi di errore molto diversi in base alla fascia demografica considerata. Per uomini con pelle chiara i sistemi raggiungevano accuratezze vicine al 99%; per donne con pelle scura il tasso di errore arrivava fino al 34,7%. Secondo le autrici, non era un intenzionale atteggiamento discriminatorio, ma un problema strutturale: i dataset usati mostravano una sottorappresentazione cronica di certe popolazioni.

Un secondo caso celebre riguarda COMPAS, un software utilizzato in diversi stati americani per valutare il rischio di recidiva dei detenuti e supportare le decisioni dei giudici sulla libertà vigilata. Un’analisi investigativa pubblicata da ProPublica nel 2016 ha mostrato che il sistema classificava i detenuti afroamericani come ad alto rischio quasi il doppio delle volte rispetto ai detenuti bianchi con profili analoghi. Inoltre, quando il sistema sbagliava, lo faceva in direzioni diverse, sovrastimando il rischio per gli afroamericani e sottostimandolo per i bianchi. Decisioni sulla libertà umana influenzate da un errore sistematico invisibile agli occhi dei giudici.

Errori in ambito sanitario

Nel campo della salute, nel 2019 uno studio su Science ha documentato come un algoritmo utilizzato negli Stati Uniti per valutare il rischio di pazienti cronici mostrasse un bias significativo: pazienti afroamericani ricevevano punteggi di rischio più bassi rispetto ai pazienti bianchi, e quindi minor accesso a cure avanzate. Il problema sottostante era che il modello utilizzava la spesa sanitaria storica come proxy per lo stato di salute. I pazienti afroamericani, tuttavia, avevano accesso storicamente più basso alle cure per motivi socio-economici, e il sistema interpretava il minor consumo sanitario come sintomo di un ridotto fabbisogno invece che come una limitazione sociale. Correggendo tale proxy, la percentuale di pazienti afroamericani inclusi nei programmi terapeutici avanzati passerebbe dal 17,7% al 46,5%.

Immagine e stereotipi

Un altro studio pubblicato su Scientific Reports nel 2025 mostra come modelli di intelligenza artificiale che generano immagini virtuali di volti tendano a produrre risultati estetici molto simili intorno a standard dominanti nei dataset d’addestramento. Questo crea un effetto di omogeneizzazione visiva che elimina la diversità della popolazione reale, rafforzando stereotipi di genere e di etnia. Non è solo un problema estetico: quando tali sistemi vengono usati in contesti di identità e riconoscimento, le differenze di performance si traducono esclusione tecnologica.

I due meccanismi principali degli errori

Capire perché questi errori si producono non richiede di entrare nei dettagli matematici del machine learning. Bastano due concetti fondamentali: