La quantità sempre crescente di contenuti online generati dagli utenti ha portato, negli ultimi anni, a una maggiore ricerca di strumenti di analisi automatizzata degli stessi.
Ricordiamo che il controllo dei contenuti tramite analisi automatizzata ha subito un’ulteriore accelerazione durante la pandemia Covid-19, poiché i servizi di social networking hanno posto un maggiore affidamento su questi strumenti a causa delle preoccupazioni sui rischi per la salute del personale addetto alla moderazione dei contenuti che lavorava in presenza.
Contestualmente, si è assistito ad importanti dibattiti politici in tutto il mondo su come migliorare la moderazione dei contenuti in modo tale da tutelare la libertà di espressione e la privacy. Risulta fondamentale essere in grado di comprendere il ruolo degli strumenti di analisi automatizzati dei contenuti e al tempo stesso individuarne i limiti.
Il CDT (Center for Democracy & Technology) – Organizzazione no profit con sede a Washington, DC, la cui missione è quella di rafforzare i diritti e le libertà individuali definendo, promuovendo e influenzando la politica tecnologica e l’architettura di Internet, ha pubblicato lo scorso 20 maggio il report dal titolo “Do You See What I See? Capabilities and Limits of Automated Multimedia Content Analysis”. Il report illustra le capacità degli strumenti preposti ad analizzare i contenuti multimediali online, evidenziando, altresì, i potenziali rischi derivanti dall’utilizzo di questi strumenti su larga scala, qualora non se ne tengano in considerazione i limiti.
Gli strumenti utilizzati per l’analisi dei contenuti
Due sono le categorie principali di strumenti analizzati:
- matching models (modelli di matching)
- computer prediction models (modelli predittivi computerizzati).
I matching models includono le funzioni di hash crittografiche e percettive (cryptographic and perceptual hashing) che confrontano il contenuto generato dagli utenti con il contenuto esistente e conosciuto. I computer prediction models – compresa la visione artificiale (computer vision) e l’audizione del computer (computer audition, i.e. un campo generale di studio di algoritmi e sistemi per la comprensione dell’audio da parte della macchina) – consistono, invece, in tecniche di apprendimento automatico che mirano a identificare le caratteristiche di contenuti nuovi o precedentemente sconosciuti.
I limiti degli strumenti di analisi automatizzata
Gli strumenti di analisi automatizzata dei contenuti multimediali presentano diversi limiti che diventano ancora più evidenti quando gli strumenti vengono utilizzati in contesti articolati. Pertanto, qualsiasi applicazione di questi strumenti dovrebbe tener conto dei seguenti cinque potenziali limiti:
- Robustezza (robustness) – Strumenti di analisi automatizzata all’avanguardia che funzionano bene in contesti controllati, ma faticano ad analizzare contenuti multimediali inediti. I modelli automatizzati falliscono ripetutamente a fronte di situazioni che non hanno mai incontrato durante la progettazione o la fase di data training. La robustezza degli strumenti – alla base sia dell’analisi automatizzata del contenuto sia della capacità di non lasciarsi ingannare da piccole distorsioni nei dati – è un problema ricorrente e non ancora risolto. Le sfide in termini di analisi automatizzata si riferiscono, ad esempio, a situazioni normali quali una fotografia scattata con un’angolazione leggermente diversa da una foto di riferimento. Inoltre, per quanto riguarda i social media, si tratta di superare le difficoltà di rilevamento scaturite ad esempio dalle filigrane, da immagini leggermente rotate o sfuocate, da metodi sofisticati come i deepfake che creano video “sintetici” dall’aspetto molto realistico per molestare o diffondere disinformazione. I modelli di machine learning hanno problemi a gestire questi casi in quanto gli sforzi di elusione sono in continua evoluzione e i modelli, essendo basati sugli esempi con cui vengono creati o addestrati, potrebbero non funzionare in modo ottimale in presenza di nuovi dati.
- Qualità dei dati – Le decisioni basate sull’analisi automatizzata del contenuto rischiano di amplificare i pregiudizi presenti nel mondo reale. Gli algoritmi di apprendimento automatico si basano su enormi quantità di data training che possono includere grandi database di foto, audio e video. È risaputo e documentato che i set di dati sono suscettibili a pregiudizi intenzionali e non intenzionali. Il modo in cui concetti specifici sono rappresentati in immagini, video e audio può essere soggetto a pregiudizi in termini di razza, sesso, cultura, abilità e altro. Inoltre, anche i contenuti multimediali campionati in modo casuale da dati del mondo reale possono contribuire ad “amplificare” pregiudizi del mondo reale. Sebbene esistano, a livello di apprendimento automatico, alcuni metodi per tentare di mitigare questi pregiudizi, essi risultano tutt’altro che sufficienti ed efficaci. Inoltre, è doveroso evidenziare il fatto che gli sforzi per “pulire” i set di dati ed ovviare ad alcuni tipi di rischi possono, in realtà, introdurre ulteriori forme di distorsione a livello di data training.
- Mancanza di contesto – Gli strumenti automatizzati hanno prestazioni scadenti quando vengono preposti a prendere decisioni che richiedono la valutazione del contesto. Sebbene alcuni tipi di analisi del contenuto possano essere relativamente semplici, il compito di comprendere i contenuti generati dagli utenti risulta essere arduo in quanto intrisi di ambiguità e di giudizi soggettivi. In alcuni casi, alcuni tipi di contenuto risultano più facili da classificare se non contestualizzati, ovvero, potrebbe esserci un consenso più ampio su ciò che costituisce contenuti o immagini cruenti, violenza e nudità rispetto a ciò che è sessualmente allusivo o ripugnante. Interessante notare che le rappresentazioni artistiche che contengono nudità o violenza, non vengono accettate; mentre nel mondo reale, se analizzate in un contesto artistico, vengono interpretate differentemente. Le macchine ad oggi non risultano adatte per effettuare valutazioni contestuali o applicare gli standard etici nelle varie declinazioni quando si tratta di prendere una determinata decisione.
- Misurabilità – Il grado di accuratezza spesso non riflette l’effettiva moltitudine di metriche utilizzate per valutare la prestazione del modello. Può risultare difficile o impossibile definire gli impatti nel mondo reale delle decisioni di analisi automatizzate, soprattutto quando è impossibile verificare se il sistema abbia analizzato correttamente il contenuto. Pertanto, la dichiarata “accuratezza del 99,9%” dell’analisi effettuata sul contenuto, in base alle metriche adottate, non è sinonimo di affidabilità. Alcune forme di contenuto dannoso, come ad esempio la propaganda terroristica, possono avere una percentuale molto piccola di contenuto multimediale. Ne consegue che un algoritmo che si limita a etichettare ogni parte di contenuto come “non estremo” potrebbe tecnicamente essere “affidabile” almeno il 99,9% delle volte, ma risulterebbe incorrere in errore per altri motivi. Ricordiamo che nonostante un modello possa garantire il risultato corretto 999 volte su 1000, l’unico risultato sbagliato potrebbe avere impatti estremamente dannosi su una scala di milioni o miliardi di contenuti. Inoltre, le metriche delle prestazioni positive del modello possono essere auto-selettive dato che scaturite dall’ottimizzazione di un set di dati specifico che non è generalizzabile a problemi del mondo reale. Ne deriva che risultano metriche migliori quelle che si basano sulla “precisione” e sul “recall” invece che sull’”accuratezza” in quanto in grado di intercettare meglio le percentuali di falsi positivi e falsi negativi.
- Spiegabilità (Explainability) – Difficile comprensione dei passaggi che sottendono il processo decisionale. Ad oggi risulta difficile spiegare il processo decisionale degli strumenti di apprendimento automatico basati sull’AI. Questi strumenti utilizzano grandi reti neurali che possono avere fino a milioni o miliardi di parametri correlati e coinvolti nell’apprendimento e nella produzione di output. Sebbene gli input e gli output di questi sistemi possano essere compresi dagli esseri umani, comprenderne i passaggi intermedi, incluso il modo con cui un sistema di analisi automatizzato prenda decisioni o soppesi varie caratteristiche, è un compito tecnico arduo dato che questi passaggi intermedi non riflettono, in genere, le tipologie di giudizi degli esseri umani.
La ricerca scientifica, al momento, si concentra sull’AI spiegabile e sulle modalità della macchina nel mappare le operazioni di giudizio. Inoltre, è doveroso ricordare che comprendere i meccanismi decisionali delle macchine è importante per lo sviluppo della fiducia negli stessi sistemi e per la prevenzione dei vari impatti e per le modalità di ricorso legale ove necessario. Pertanto, per spiegare l’AI è necessario conoscere sia i fattori di una singola decisione sia le caratteristiche strutturali di una rete nel suo insieme.
Conclusioni
Assistiamo in internet alla proliferazione di linguaggio e alla comunicazione digitale sotto forma di testo, immagini, video e audio creati e caricati da persone di tutto il mondo. La portata di questo contenuto travolge le nostre capacità di valutazione che ha indotto ad avvalersi di diverse forme di automazione per filtrare, ordinare, classificare e analizzare in altro modo i contenuti generati dagli utenti.
I progressi nelle tecniche di machine learning hanno reso possibile un’analisi molto più sofisticata in cui l’AI cresce fino ad approssimare, o addirittura, superare la comprensione umana del significato e del contesto dei contenuti. Le attuali tecniche di machine learning, impiegate per analizzare i contenuti su larga scala, sono la dimostrazione dei progressi tecnologici raggiunti e risultano utili in una varietà di scenari, tra cui: la moderazione dei contenuti, la ricerca, il rilevamento delle frodi, il miglioramento dell’accessibilità dei file multimediali ed altro ancora.
Nonostante i progressi nelle capacità delle tecniche di apprendimento automatico per analizzare i contenuti, oggi più che mai è necessario tener conto dei loro limiti in termini di robustezza, qualità dei dati, mancanza di contesto, misurabilità e spiegabilità, soprattutto quando si valuta di utilizzare questi strumenti automatizzati per affrontare i complessi problemi dell’analisi dei contenuti su larga scala.
La mancata soluzione di questi limiti nella progettazione e nella realizzazione degli strumenti è destinata ad avere impatti negativi sui diritti delle persone interessate dall’analisi automatizzata e da processi decisionali strategici per la società.
In questo scenario si inserisce la proposta da parte della Comunità Europea del primo quadro giuridico sull’Intelligenza Artificiale – “Regolamento su un approccio europeo per l’intelligenza artificiale”. Come affermato da Margrethe Vestager – Vicepresidente Esecutiva della Comunità Europea – si tratta di norme che “saranno adeguate alle esigenze future e favorevoli all’innovazione e interverranno ove strettamente necessario: quando sono in gioco la sicurezza e i diritti fondamentali dei cittadini dell’UE” al fine di garantire una “AI affidabile”.
È necessario adottare una modalità di “derisking AI by design”, ovvero, creare sistemi di AI coerenti con i valori della società e che tengano in considerazione la propensione al rischio senza dimenticare aspetti fondamentali quali: l’interpretabilità del modello, il rilevamento di bias e monitoraggio delle prestazioni in modo tale da garantire la supervisione costante e coerente in tutte le varie fasi del ciclo di vita del modello di IA.
Come afferma Paolo Benanti – Professore di Teologia Morale e Bioetica presso la Università Pontificia Gregoriana, nel testo “Post Umano, troppo postumano” – la tecnologia è “un costrutto umano e, come tale, va sottoposta al vaglio ed alla riflessione delle scienze umane che sanno cogliere ed analizzare i sogni, le aspirazioni, i miti e i desideri insiti in ogni opera dell’uomo…Solo pensando umanisticamente la tecnologia potremo imparare a gestirla.
Per concludere ricordiamoci che l’Europa nasce come una grande struttura di governance: lavorare attivamente alle regole di gestione delle nuove tecnologie significa tenere fede ai presupposti della nostra società.
