Le nuove esigenze dettate dalla situazione pandemica hanno comportato un’accelerazione verso la digitalizzazione delle relazioni, siano esse di natura sociale o nei confronti delle istituzioni. Questa seconda categoria è però caratterizzata da particolari esigenze di sicurezza, specialmente con riguardo all’identificazione della persona fisica che si trova dall’altra parte dello schermo: ad esempio, per accedere a un sussidio è fondamentale provare la propria identità per dimostrare di essere i soggetti effettivamente legittimati a fare la richiesta.
Nel contesto digitale sono presenti molte soluzioni per risolvere questo problema; tuttavia, non tutte presentano le medesime caratteristiche di sicurezza, e in alcuni casi è necessario prestare particolare attenzione anche a rischi di discriminazione e ingiustizia nei confronti di alcune minoranze. Quando si affronta il tema dell’accesso ai servizi è più che mai fondamentale avere ben presente questi aspetti e derive problematiche, per evitare che categorie di popolazione più “deboli” restino escluse, aumentando in questo modo il divario sociale e inasprendo così le conseguenze della crisi derivante dalla pandemia proprio per chi già si trovava in una situazione difficile.
Riconoscimento facciale vietato in Italia: ma solo per ora e con eccezioni
Perché il riconoscimento facciale non è la soluzione migliore
In questo senso è utile osservare il fenomeno crescente dell’uso di sistemi di riconoscimento facciale per accedere a sussidi pubblici, che negli Stati Uniti sta portando alla luce nuove sfaccettature dei problemi legati a queste tecnologie. Negli ultimi anni si sta parlando molto delle discriminazioni che in molti casi derivano dall’utilizzo di algoritmi di riconoscimento facciale, sia per motivi tecnici che per retaggi culturali che incidono sulla scelta del dataset posto alla base del loro funzionamento. È ormai chiaro che l’accuratezza di tali sistemi cala inevitabilmente tanto più ci si allontana dal modello “maschio bianco di mezza età”, per arrivare a percentuali di errore anche sopra il 30% quando vengano utilizzati nel riconoscimento di donne di colore.
Una storia riportata da Mia Sato nel MIT Technology Review nel suo articolo “The pandemic is testing the limits of face recognition” del 28 settembre 2021 fa luce anche su conseguenze problematiche del riconoscimento facciale nei confronti di un’altra categoria “debole” della società: le persone che hanno intrapreso terapie ormonali per il cambio di sesso.
L’autrice racconta la storia di un artista di Los Angeles che l’anno scorso, rimasto senza lavoro nel pieno della pandemia, non è riuscito ad accedere ai sussidi statali per la disoccupazione a causa di problemi con il sistema di intelligenza artificiale usato per identificare i soggetti che effettuavano la richiesta. L’artista aveva assunto per due anni degli ormoni che avevano comportato dei cambiamenti rilevanti nella sua fisionomia e l’IA non riusciva più a riconoscerlo, determinando in questo modo il rifiuto del sussidio. Non siamo qui di fronte a un vero e proprio malfunzionamento tecnico del software, quanto piuttosto a un esempio di un caso in cui l’ottusità di tali soluzioni tecniche ha portato a conseguenze disastrose. Ricordiamoci sempre che un algoritmo non può, almeno allo stato attuale, possedere la flessibilità dell’occhio e della mente umana che diventa necessaria quando ci si trova di fronte a situazioni che non rientrano nelle categorie standard con cui vengono suddivisi gli individui nella nostra società. Per quanto riguarda il riconoscimento facciale, il binomio maschile/femminile è ancora in molti casi una componente essenziale per il funzionamento del sistema che è inoltre, per definizione, ancorato all’apparenza fisica dei soggetti esaminati.
Tuttavia, è sempre più importante saper distinguere anche situazioni più sfumate, per dare spazio e riconoscimento anche a chi ha intrapreso un percorso terapeutico volto a cambiare la propria fisionomia. Il caso riportato da Mia Sato evidenzia quindi un ulteriore problema che si pone quando ci si affida in modo acritico e automatico a un’intelligenza artificiale, e ancora una volta le ripercussioni ricadono su persone sottorappresentate e in situazioni complesse, che necessiterebbero di interfacciarsi con criteri elastici di valutazione, difficili da trasmettere a una macchina. Siamo di fronte a un ulteriore campanello d’allarme che ci costringe a ripensare il modo in cui questi sistemi vengono utilizzati, specialmente quando le loro valutazioni sono la porta di accesso a servizi essenziali.
IA, non sono io una donna?
Abbiamo accennato sopra come le intelligenze artificiali di riconoscimento facciale dimostrino dei difetti considerevoli nell’analisi di volti di specifiche categorie. L’informatica e attivista Joy Buolamwini da tempo studia le discriminazioni nei riguardi delle persone di colore, specialmente donne, derivanti da questi sistemi. Nella sua attività di sensibilizzazione sul tema ha scritto anche una poesia, “AI, ain’t I a woman?” (“IA, non sono io una donna?”) ispirata dagli errori che dei software di riconoscimento facciale hanno commesso nell’identificazione di celebri donne nere come Oprah, Michelle Obama, Serena Williams. Nell’esaminare fotografie di questi personaggi iconici femminili, l’IA ha dimostrato tutta la propria inefficienza classificandole come uomini o, peggio, non riuscendo a riconoscere le loro immagini come rappresentazioni di persone. Già nel 2019 Buolamwini portò queste considerazioni all’attenzione dell’House Committee on Oversight and Reform della Camera degli Stati Uniti, con una testimonianza in cui sollevò, oltre alle preoccupazioni riguardanti la sicurezza pubblica e il problema della sorveglianza di massa, anche la questione dei rischi derivanti dall’utilizzo del riconoscimento facciale per l’accesso a servizi e opportunità, anche nel contesto lavorativo. Nello scritto viene riportato anche il caso, avvenuto nel 2018, in cui fu disattivato l’account di guidatori transgender sull’applicazione di Uber perché il sistema di riconoscimento facciale non riusciva a identificarli, malfunzionamento che impedì di fatto a queste persone di lavorare.
Dunque, già da anni abbiamo esempi di come i software di riconoscimento facciale dimostrino dei difetti di funzionamento di fronte a persone che non siano maschi bianchi di mezza età. Inoltre, l’automatico incasellamento nella categoria maschile o in quella femminile genera errori e gravi malfunzionamenti quando applicato a individui con fenotipi facciali diversi da quelli su cui sono stati “allenati” gli algoritmi. I bias dei sistemi diventano ancora più evidenti tanto più ci si allontana dallo standard, portando a conseguenze anche disastrose nei confronti di chi appartiene a minoranze.
L’intervento umano come soluzione?
Nell’Unione europea l’articolo 22 paragrafo 3 del Regolamento 679/2016 (il “GDPR”) sancisce il diritto a richiedere un intervento umano nei casi in cui un individuo sia sottoposto a una decisione basata unicamente su un trattamento automatizzato che produca effetti giuridici che lo riguardano o incida in modo analogo significativamente su di lui. In molte situazioni, di fronte a una macchina che ci nega per errore l’accesso a un servizio, o che ci pone arbitrariamente in una posizione scomoda o paradossale, potrebbe effettivamente essere la soluzione. Pensiamo al caso di Williams, uomo di colore arrestato per via di un errore del software di riconoscimento facciale che è stato subito evidente nel momento in cui un agente fisico ha esaminato il video.
Tuttavia, questo discorso deve essere integrato con considerazioni più specifiche quando si esamina il caso da cui siamo partiti in questo articolo, ossia la situazione delle persone transgender. Per questi soggetti, infatti, richiedere un intervento umano potrebbe generare ulteriori traumi, dato che li costringerebbe a spiegare la propria situazione di transizione, esponendoli nei casi meno gravi a una violazione considerevole della loro riservatezza, nei casi più gravi a pericoli per la loro incolumità (pensiamo ai Paesi meno tolleranti verso le minoranze LGBTI+). Diventa qui necessario fornire un’alternativa diversa, come potrebbe essere, ad esempio, la lettura dell’impronta digitale o dell’iride. Le nuove tecnologie ci forniscono una rosa di soluzioni che non deve essere appiattita sempre e solo al riconoscimento facciale, specialmente alla luce degli evidenti problemi di funzionamento che questo sistema dimostra quando si tratti di minoranze.
Introdurre un divieto nel regolamento europeo sull’intelligenza artificiale
Lo scorso 21 aprile la Commissione europea ha presentato la proposta di Regolamento per armonizzare le regole sull’Intelligenza Artificiale nell’Unione. Precedentemente alcune associazioni – tra cui All Out e Access Now – e un gruppo di membri del Parlamento europeo avevano formulato delle istanze per chiedere un divieto di sistemi di IA capaci di identificare e classificare le persone in base al loro genere o orientamento sessuale. La parlamentare Alexandra Geese ha commentato per la Thomson Reuters Foundation “Ridurre le persone al loro aspetto è discriminatorio – che sia fatto da umani o da macchine” e ha aggiunto “Le potenzialità lesive di queste applicazioni tecniche superano i vantaggi così palesemente – sempre ammesso che offrano dei benefici – che l’Europa dovrebbe inequivocabilmente voltare loro le spalle in via legislativa” (traduzione nostra). Tuttavia, la proposta di Regolamento presentata dalla Commissione non prevede tale divieto assoluto, ma si pone semplicemente l’obiettivo di minimizzare la discriminazione basata sugli algoritmi, anche grazie a controlli di qualità sui dataset e controllo umano durante tutto il ciclo di sviluppo e implementazione dell’IA.
L’European Data Protection Board e l’European Data Protection Supervisor, nel loro parere congiunto del 18 giugno 2021 sulla proposta di Regolamento, hanno risollevato la questione raccomandando anch’essi l’introduzione di un divieto “valido sia per le autorità pubbliche sia per i soggetti privati di utilizzare sistemi di IA che categorizzano le persone in insiemi (clusters), a partire dai dati biometrici (ad esempio con il riconoscimento facciale), in base all’etnia, al genere nonché all’orientamento politico o sessuale oppure in base ad altri motivi di discriminazione proibiti a norma dell’articolo 21 della Carta, ovvero sistemi di IA la cui validità scientifica non è dimostrata o che confliggono direttamente con i valori fondamentali dell’UE”.
Conclusioni
Con la diffusione di IA utilizzate per consentire l’accesso a servizi, specie quando essenziali (come i sussidi di disoccupazione), diventa imprescindibile un’analisi accurata dei rischi che questi sistemi possono comportare per tutti i soggetti, senza escludere le minoranze. Di fronte alla moltitudine di nuove tecnologie dobbiamo quindi chiederci quando sia effettivamente necessario il loro utilizzo e quali siano quelle più adatte per raggiungere lo scopo prefissato. Per questo gettare luci sulle derive problematiche delle soluzioni già adottate in altri Paesi o contesti può fornire le giuste basi di partenza per una progettazione consapevole e inclusiva con riguardo all’implementazione di software di IA nei vari settori.
Inoltre, può essere utile chiedersi se i meccanismi oggi utilizzati per progettare le Intelligenze Artificiali siano gli unici possibili, e se non possa essere invece auspicabile un divieto di trattamento di informazioni particolari come il genere o il sesso anche in questo settore, come raccomandato dall’EDPB, dall’EDPS, da alcuni parlamentari europei e dalle associazioni di attivisti che si pongono l’obiettivo di portare avanti le istanze delle minoranze.
