Bias Algoritmici: 5 Casi Reali che Mostrano il Problema (e le Soluzioni)

C’è un argomento ricorrente a favore dell’AI nelle decisioni umane: gli algoritmi sono più oggettivi delle persone. Non hanno pregiudizi consci, non si stancano, non si lasciano influenzare dall’umore della mattina. Se un algoritmo decide chi ottiene un prestito, chi viene assunto, chi viene rilasciato su cauzione, lo fa applicando regole uniformi senza favoritismi.

È un argomento plausibile. Ed è, in larga misura, sbagliato.

I bias algoritmici sono uno dei problemi più documentati e più sottovalutati dell’AI contemporanea. Non nascono dalla malevolenza di chi progetta i sistemi — nascono da un meccanismo molto più difficile da individuare e correggere: i modelli imparano dai dati storici, e quei dati riflettono le ingiustizie del passato. Il risultato è un’AI che non elimina i pregiudizi umani — li automatizza, li scala e li rende più difficili da contestare perché nascosti dietro la patina dell’oggettività matematica. Come esploriamo nella guida su AI, etica e società, la qualità etica di un sistema AI non è separata dalla sua qualità tecnica: un sistema che discrimina è un sistema che funziona male.

Cinque casi concreti per capire come succede davvero — e cosa si può fare.

Caso 1: Amazon e l’Algoritmo di Hiring che Penalizzava le Donne

Nel 2018, Reuters rivelò che Amazon aveva sviluppato e poi abbandonato un sistema AI per la selezione dei curriculum. Il sistema era stato addestrato sui CV ricevuti dall’azienda nei dieci anni precedenti — un decennio in cui il settore tecnologico era fortemente dominato da uomini. Il modello aveva imparato che i candidati migliori assomigliano ai dipendenti precedentemente assunti, e aveva iniziato a penalizzare automaticamente i CV che contenevano parole come “femminile” o che includevano esperienze in college femminili.

Il sistema non discriminava per ragioni esplicite. Discriminava perché aveva appreso la struttura implicita dei dati storici: in passato, le donne erano state assunte meno. Quindi “candidato ideale” significava, nella logica del modello, “simile a chi veniva assunto”, ovvero statisticamente più probabilmente maschio.

Amazon ha corretto il sistema e poi lo ha abbandonato. Ma il caso ha mostrato qualcosa di fondamentale: nessuno aveva istruito l’algoritmo a discriminare. Era emerso da solo, come conseguenza naturale dell’apprendimento su dati distorti. La discriminazione automatizzata è spesso non intenzionale — ma produce gli stessi effetti di quella intenzionale.

Caso 2: Il Riconoscimento Facciale che Sbaglia Sistematicamente sulle Persone di Colore

Nel 2018, Joy Buolamwini del MIT Media Lab pubblicò uno studio destinato a diventare un riferimento nel campo: Gender Shades. Analizzando tre dei principali sistemi commerciali di riconoscimento facciale — Microsoft, IBM e Face++ — trovò che l’accuratezza variava in modo sistematico in base al genere e alla tonalità della pelle.

Per gli uomini dalla pelle chiara, il tasso di errore era inferiore all’1%. Per le donne dalla pelle scura, arrivava al 35%. Non una differenza marginale — una differenza enorme, che rendeva i sistemi quasi inaffidabili per una categoria specifica di persone. Il motivo era, ancora una volta, nei dati di training: i dataset di immagini facciali erano storicamente dominati da volti maschili e dalla pelle chiara.

Le conseguenze pratiche di questo bias sono gravi in contesti ad alto rischio. Negli USA, diversi casi documentati hanno mostrato persone arrestate per errore sulla base di identificazioni scorrette tramite riconoscimento facciale — tutte persone nere. La tecnologia funziona peggio proprio per chi è storicamente più vulnerabile a interazioni sbagliate con il sistema di giustizia.

Caso 3: Gli Algoritmi di Credit Scoring che Replicano le Disuguaglianze Storiche

Il credit scoring — il punteggio che determina se si ottiene un mutuo, un prestito, una carta di credito — è uno dei campi in cui l’AI ha penetrato più profondamente le decisioni finanziarie. In apparenza è un caso d’uso perfetto: dati quantitativi, criteri oggettivi, decisioni ripetibili.

Ma in pratica, diversi studi hanno documentato che i modelli di credit scoring tendono a penalizzare sistematicamente alcune categorie di persone — non perché il modello “sappia” la loro appartenenza etnica o di genere, ma perché usa variabili proxy che sono correlate con quelle caratteristiche. Il CAP (codice di avviamento postale), ad esempio, è un predittore del rischio di credito, ma è anche fortemente correlato con la composizione etnica e socioeconomica dei quartieri — il risultato di decenni di politiche abitative discriminatorie.

Il risultato è che un algoritmo che non vede direttamente razza o origine produce comunque risultati sistematicamente peggiori per le minoranze. È quello che i ricercatori chiamano discriminazione proxy: non intenzionale, non esplicita, ma reale nei suoi effetti.

Caso 4: COMPAS e la Giustizia Predittiva che Discrimina per Razza

COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) è un algoritmo usato in diversi stati americani per valutare il rischio di recidiva dei detenuti — e quindi influenzare decisioni su libertà vigilata, condizionale, durata della pena. Nel 2016, ProPublica pubblicò un’analisi che ha fatto storia.

I risultati erano inquietanti: COMPAS classificava erroneamente i detenuti neri come ad alto rischio quasi il doppio delle volte rispetto ai detenuti bianchi, e classificava erroneamente i detenuti bianchi come a basso rischio quasi il doppio delle volte rispetto ai neri. Non si trattava di differenze marginali — erano differenze sistematiche e consistenti, con effetti diretti sulla libertà delle persone.

Il caso COMPAS è diventato emblematico perché tocca il punto più sensibile: le conseguenze di un bias algoritmico sulla libertà individuale e sull’accesso alla giustizia. È anche il caso che ha alimentato il dibattito sulla trasparenza algoritmica — il diritto di sapere con quale logica un sistema ha preso una decisione che cambia la tua vita. Su questo tema, l’articolo sulla trasparenza algoritmica e il diritto alla spiegazione approfondisce cosa prevede il quadro normativo europeo.

Caso 5: I Bias nell’AI Medica e le Diagnosi che Non Funzionano per Tutti

La medicina è uno dei campi in cui l’AI ha il potenziale più straordinario — e anche uno in cui i bias hanno conseguenze più gravi. Nel 2019, uno studio pubblicato su Science documentò un caso particolarmente preoccupante: un algoritmo usato da ospedali americani per identificare i pazienti ad alto rischio che avrebbero beneficiato di cure aggiuntive tendeva a sottovalutare sistematicamente i bisogni dei pazienti neri.

Il meccanismo era sottile: l’algoritmo usava la spesa sanitaria passata come proxy per il bisogno di cure. Ma i pazienti neri, storicamente, avevano avuto meno accesso alle cure e quindi avevano speso meno — non perché stessero meglio, ma perché il sistema li aveva sottserviti. L’algoritmo aveva interpretato questa spesa inferiore come indicatore di minore bisogno, replicando e amplificando una disuguaglianza preesistente.

Lo stesso tipo di problema emerge nei sistemi di analisi delle immagini dermatologiche, addestrati prevalentemente su immagini di pelle chiara, che performano peggio nel riconoscere condizioni su pelli scure. O negli algoritmi di rilevamento della depressione basati su pattern vocali, addestrati su dati non rappresentativi di diverse culture e lingue.

Perché Succede: Garbage In, Garbage Out (Ma È Più Complesso di Così)

C’è una formula nel mondo del machine learning che spiega molto: garbage in, garbage out. Se i dati di training sono distorti, il modello impara la distorsione. Ma la realtà dei bias algoritmici è ancora più complessa, perché il problema non è solo la qualità dei dati.

Il primo livello è quello dei dati storici: i dataset su cui si addestrano i modelli riflettono un mondo in cui le disuguaglianze esistevano. Assumere meno donne nel tech, prestare meno denaro alle minoranze, curare meno i pazienti neri: questi sono fatti storici che si traducono in pattern nei dati, che diventano pattern nei modelli.

Il secondo livello è la scelta delle variabili proxy: spesso i modelli usano variabili apparentemente neutre — il CAP, la spesa sanitaria, il tipo di università frequentata — che sono però fortemente correlate con caratteristiche protette. Non è detto che chi progetta il sistema lo faccia consapevolmente; spesso è una conseguenza non intenzionale di decisioni di ingegneria.

Il terzo livello è la mancanza di diversità nei team che costruiscono i sistemi. Se chi progetta un algoritmo di riconoscimento facciale non include nella propria squadra persone con diverse tonalità della pelle, è meno probabile che il problema venga identificato durante lo sviluppo. La diversità dei team non è solo un valore etico — è un requisito tecnico per costruire sistemi che funzionino per tutti.

Come Si Può Evitare: Strumenti e Approcci che Funzionano

La buona notizia è che il problema dei bias algoritmici non è invisibile né irrisolvibile. Esistono strumenti, metodologie e pratiche che permettono di identificarlo e ridurlo significativamente — purché ci sia la volontà di usarli.

L’audit algoritmica è il primo passo: testare sistematicamente le performance del modello su diversi sottogruppi demografici, non solo sulla media generale. Un modello che ha un’accuratezza media del 90% potrebbe avere un’accuratezza del 70% su alcune categorie e del 98% su altre — e la media nasconde la disuguaglianza.

La diversificazione dei dati di training è un secondo strumento fondamentale: raccogliere dataset più rappresentativi, anche quando è più costoso e difficile, è un investimento necessario per costruire sistemi che funzionino equamente.

I test di fairness durante lo sviluppo — non solo alla fine — permettono di identificare i bias prima che il sistema vada in produzione. Diversi framework open source (come Fairlearn di Microsoft o AI Fairness 360 di IBM) forniscono strumenti concreti per farlo.

Infine, la supervisione umana nelle decisioni ad alto rischio. Un algoritmo può supportare una decisione, ma non dovrebbe essere il solo arbitro di scelte che incidono profondamente sulla vita delle persone — un’assunzione, un prestito, una sentenza. L’AI Act europeo riconosce esplicitamente questo principio per i sistemi ad alto rischio.

Il Tuo Ruolo: Come Riconoscere i Bias Quando Li Vedi

I bias algoritmici non sono solo un problema per chi progetta sistemi AI. Sono un problema per chiunque usi sistemi AI per prendere decisioni — manager che usano strumenti di recruitment, medici che usano sistemi di supporto diagnostico, giudici che consultano algoritmi di valutazione del rischio, funzionari che usano sistemi di scoring per accesso ai servizi.

Riconoscere un potenziale bias richiede alcune domande di base: su quali dati è stato addestrato questo sistema? È stato testato su gruppi demografici diversi? Chi ha progettato questo sistema e con quale attenzione all’equità? Esiste un processo per contestare le sue decisioni?

Non è richiesta competenza tecnica per fare queste domande. È richiesta la consapevolezza che “è un algoritmo” non è sinonimo di “è neutro” — e che l’obiettività matematica, senza attenzione ai dati su cui si costruisce, può diventare il modo più sofisticato per perpetuare le ingiustizie del passato.

L’AI può davvero ridurre i bias umani nelle decisioni. Ma solo se la costruiamo consapevolmente, la testiamo rigorosamente e manteniamo la responsabilità umana là dove conta di più. Il potenziale c’è. Usarlo bene è una scelta che dobbiamo fare — ogni giorno, ogni sistema, ogni decisione.