Category: Press

Il Centro Hermes per la trasparenza e i diritti umani digitali ha firmato una lettera aperta insieme a EDRi e 60 associazioni della società civile dislocate in tutta Europa—e nel mondo—per ribadire l’urgenza di limiti e regolamenti all’introduzione di soluzioni di intelligenza artificiale che comprimono e violano i diritti umani.

Con la proposta sull’Intelligenza Artificiale che l’Unione Europea lancerà questo trimestre, l’Europa ha l’opportunità di dimostrare al mondo che la vera innovazione può nascere solo quando possiamo essere certi che tutte le persone saranno protette dalle violazioni più pericolose ed eclatanti dei nostri diritti fondamentali. Le industrie europee—dagli sviluppatori di IA alle aziende produttrici di automobili—trarranno grande beneficio dalla certezza normativa che deriva da chiari limiti legali e da condizioni di concorrenza eque.

È fondamentale che il regolamento di prossima introduzione affronti in modo inequivocabile diversi rischi: dalla sorveglianza biometrica di massa (che la campagna Reclaim Your Face sta già sottolineando) al monitoraggio degli spazi pubblici; il pericolo che queste tecnologie intensifichino la discriminazione strutturale, l’esclusione e i danni collettivi fino ad impedire l’accesso a servizi vitali come l’assistenza sanitaria e la sicurezza sociale; i rischi di vedersi impedito un accesso equo alla giustizia e ai diritti procedurali; la normalizzazione di sistemi che fanno inferenze e previsioni sulle nostre caratteristiche, comportamenti e pensieri più intimi; e, soprattutto, la manipolazione e il controllo del comportamento umano e le minacce associate alla dignità umana, all’autonomia e alla democrazia collettiva. 

Leggi la lettera aperta inviata da European Digital Rights e 60 associazioni della società civile (testo in Inglese).  

La tecnologia ci permette di condividere facilmente con le nostre persone care momenti di felicità. Siamo al parco e vogliamo immortalare una festa insieme alle nostre amiche e amici: basta registrare un video e caricarlo in un storia su Instagram oppure inoltrarlo su WhatsApp. Questo gesto fa parte della nostra natura sociale poiché ci piace condividere i nostri attimi: che si tratti di un concerto, di uno spettacolo in piazza, di una manifestazione pubblica, o di un comizio elettorale. Quando lo facciamo non pensiamo però che persone estranee (e che non vediamo) possano ascoltare ogni nostra conversazione, estraendo la traccia delle voci all’interno del video e associando un’identità. 

Uno scenario fantascientifico forse, ma nemmeno troppo: nel 2016 la Polizia italiana ha acquistato un sistema di riconoscimento vocale da usare all’interno del progetto CRAIM per il riconoscimento delle voci nei video e audio caricati sul web. Parlare di CRAIM è come parlare di una microspia indossata da ognuno di noi in grado di dare un nome alle persone con le quali parliamo e trascrivere le nostre conversazioni.

Il sistema CRAIM

Facebook, Twitter, YouTube ma anche Google, Yahoo, e Yahoo News. Questi sono solo alcuni dei social e siti da cui la polizia può raccogliere audio e video da analizzare grazie alle tecnologie acquistate dal Centro di Ricerca per l’Analisi delle Informazioni Multimediali (CRAIM) nel 2016, stando a quanto riportato dai documenti del bando pubblico.

Il sistema permette di trascrivere in modo automatico gli audio e i video presenti sul web, sfruttando algoritmi di speech-to-text multilingua (che riconoscono il testo pronunciato e lo trascrivono) e, soprattutto, di generare una impronta vocale e confrontarla con quella all’interno di un database di voci al fine di consentirne l’identificazione. Il sistema dovrà essere in grado di gestire almeno 300 ore di registrazioni giornaliere.

La polizia sembra quindi già possedere un database di voci su cui effettuare la ricerca ma non è chiaro come sia stato creato e su quali basi legali poggi questa raccolta di dati. 

Anche per questo motivo, oltre alla raccolta indiscriminata di dati biometrici, il Garante Privacy aveva dichiarato che avrebbe inviato richiesta di informazioni al Ministero dell’Interno, ma a distanza di 3 anni ancora non si hanno notizie dell’esito dell’istruttoria. 

È interessante notare come anche in questo caso una delle motivazioni sottostante l’utilizzo di questa tecnologia, e forse quella più rilevante secondo le forze dell’ordine, è l’utilizzo ai fini del contrasto al terrorismo o alla prevenzione della criminalità (anche organizzata). La tecnologia si inserisce ancora appieno nella narrazione contemporanea di strumento fondamentale e unico per eliminare l’errore umano e garantire la sicurezza. A quali spese si mantiene e porta avanti questa narrazione tossica non ci è dato precisamente sapere, ma certo è che già assistiamo (come in questo caso) a invasioni della nostra privacy e alla limitazione di altri diritti fondamentali. 

Orecchie ovunque

Come ricorda EDRi, il network di associazioni europee che si occupano di diritti digitali, nel suo studio sulla sorveglianza biometrica, siamo abituati a pensare allo spazio pubblico come a strade, parchi o ospedali, ma anche centri commerciali, stadi, trasporti pubblici e altri servizi di interesse pubblico che, pur essendo gestiti da privati, sono accessibili a tutti. Ma ciò al quale non pensiamo spesso, o che non riusciamo a identificare come uno spazio pubblico dove far valere le stesse identiche regole degli esempi precedenti, è il dominio digitale. Gli spazi che occupiamo online hanno un ruolo fondamentale nella nostra quotidianità e per la determinazione e costruzione della nostra identità. Sono perciò una parte molto importante del dibattito civico, della democrazia e della partecipazione pubblica. La nostra società vive anche nei milioni di video che vengono caricati online ogni giorno.

Per queste ragioni, se e qualcuno è in grado di raccogliere indiscriminatamente, analizzare e conservare le nostre voci allora siamo di fronte a una sorveglianza biometrica su scala gigante, della quale non riusciamo nemmeno ad accorgerci. 

Quando carichiamo questi video esercitiamo, in modo più o meno cosciente, una forma di controllo: stiamo condividendo e acconsentendo alla diffusione online di contenuti che possono coinvolgere sia noi che altre persone—a volte sconosciute. È un aspetto delle nostre relazioni sociali e una consapevolezza che si è fatta strada da non molto tempo: la privacy non interessa solo noi ma anche le persone che ci stanno intorno, non solo quando parliamo per strada ma anche quando utilizziamo piattaforme di condivisione come YouTube. La privacy non è un diritto individuale ma condiviso, un diritto di tutti. Se attraverso queste le forze dell’ordine possono individuare i presenti in un determinato luogo o momento, non solo stanno mettendo in pericolo noi ma anche chiunque possa essere all’interno di quel video per sbaglio. E tutto questo viene fatto di nascosto e senza che ci sia la concreta possibilità di opporsi.

Cos’è

Molti di noi, all’interno delle nostre case, possiedono dispositivi che in diverso modo riconoscono la voce (Alexa, Google Home, Siri, Cortana) e quindi capiscono i discorsi e le richieste che facciamo loro per ascoltare musica, riprodurre film o richiedere informazioni sulle previsioni del tempo. Questi dispositivi si basano su reti neurali artificiali che offrono al sistema la possibilità di apprendere e migliorare sé stessi attraverso l’utilizzo. Le aziende tech hanno cominciato a creare e diffondere questi sistemi per favorire l’interazione uomo-macchina, e il report 2019 di Microsoft parla proprio di quanto spazio si stiano prendendo questi dispositivi nella nostra vita quotidiana (il 76% degli intervistati ha usato assistenti vocali negli ultimi 6 mesi). Ma al di là del prodotto commerciale e delle possibilità che offre a soggetti non vedenti o con altre disabilità correlate, è sicuramente rilevante considerare il rovescio della medaglia: se applicati nello spazio pubblico per monitorare, identificare, e riconoscere le persone rischiano di violare la nostra privacy e possono introdurre ulteriori discriminazioni.

Come funziona

Il riconoscimento vocale può avere diversi scopi: comprendere il significato di quello che stiamo dicendo, riconoscere la voce di una persona che parla e collegarla ad altri audio, oppure cercare di estrarre informazioni sulle emozioni provate dalla persona partendo dalla sua voce. Le nostre voci sono completamente diverse l’una dall’altra: basti pensare al timbro della nostra voce e quella delle nostre persone care. In generale, il funzionamento di un sistema di riconoscimento vocale si basa su un modello matematico che viene elaborato a partire da un database creato in fase di addestramento del sistema. L’algoritmo cerca di individuare le parole che pronunciamo e, per comprenderle, le compara con le parole simili per suono e contenuto all’interno del database utilizzato, oppure quelle che mostrano le stesse caratteristiche fonetiche. Così come nel caso approfondito nella scorsa settimana, anche qui è necessario porre l’attenzione sul database creato per il matching ovvero tenere in considerazione che è da questo che dipende la comprensione o meno dei nostri discorsi. Se dunque il database di un sistema di riconoscimento facciale è allenato solo su individui maschi e bianchi (e quindi l’algoritmo non riconosce alternative), stessa cosa succede per la voce: alcuni studi hanno dimostrato che questi sistemi hanno problemi con accenti e pattern linguistici di persone che appartengono a minoranze o gruppi in generale sottorappresentati nelle nostre società. Oltre a ciò il punto principale che rende questi software invasivi nella nostra vita quotidiana è sicuramente l’impatto sulla privacy. 

Ritornando a quanto detto inizialmente, sappiamo ad esempio che in attesa della parola d’ordine impartita (Hey Google, Alexa) i sistemi di riconoscimento vocale sono in perenne funzionamento e monitorano le nostre azioni: Amazon ha dichiarato come Echo sia in ascolto costante ma non registri ciò che avviene prima che l’utente effettivamente pronunci la parola magica. Tuttavia è ancora possibile che accidentalmente alcune parole siano confuse e possano portare al “risveglio” del software e dunque alla registrazione di conversazioni private che tutti vorremmo rimangano tali. A nessuno piacerebbe infatti essere ascoltato da una persona estranea in casa nostra, e ci sono anche prove a sostegno dell’ipotesi che ad esempio Alexa non cancelli effettivamente le conversazioni registrate anche se l’utente ne richiede la cancellazione.

Alcuni studi stanno testando la possibilità di riconoscere determinati rumori negli spazi pubblici, soprattutto nell’ottica di potenziare la sorveglianza nelle smart city e nelle cosiddette safe city—di fatto affermando già all’inizio gli scopi di questa tecnologia. Da considerare è infatti la possibilità che questo tipo di tecnologia, utilizzata ad esempio per intercettare il posto in cui è stato esploso un colpo di arma da fuoco, possa essere combinata insieme ad altre, non ultimo il riconoscimento facciale. Pensare di trovarci di fronte ad un sistema che potrebbe monitorare la nostra presenza quando ci muoviamo in città rischia di ricreare gli stessi pericoli di cui già abbiamo parlato proprio nel caso del riconoscimento dei volti: essere pedinati costantemente perché un orecchio elettronico è in grado di riconoscere la nostra voce. 

Inoltre, sempre più rilevante è anche la questione delle emozioni. Una delle capacità più importanti dell’uomo è quella di riconoscere ed interpretare gli aspetti emotivi legati alle conversazioni e ai contenuti che ci scambiamo. In questi ultimi anni numerosi sono gli studi che cercano di sondare la possibilità di creare dispositivi che siano in grado di riconoscere, in tempo reale ed efficientemente, le emozioni dell’utente che interagisce con essi (un telefono, un computer ma anche un’automobile). 

La videosorveglianza sta invadendo le nostre città da anni: quasi ogni angolo del nostro spazio urbano è monitorato costantemente dall’occhio elettronico di quelle che oramai sono diventati degli addobbi architettonici a cui non fare più attenzione.

Ma se fino ad ora le riprese delle videocamere di sorveglianza dovevano essere analizzate manualmente alla ricerca di persone sospette o per ricostruire degli eventi particolari a posteriori, con l’introduzione di sistemi di riconoscimento facciale e di analisi avanzata dei flussi video siamo di fronte alla possibilità di essere pedinati ogni istante della nostra giornata. 

Il caso di Mosca: se vuoi ricostruire la vita di una donna bastano 200 euro

A Mosca sono già in funzione videocamere con il riconoscimento facciale che ricoprono tutta la città, eppure l’associazione per i diritti digitali Roskomsvoboda non si aspettava di trovare un modo illegale per accedere al sistema e testare le sue capacità.

È bastato semplicemente rispondere ad un avviso su un canale Telegram dove si pubblicizzava l’accesso alle informazioni del sistema di riconoscimento facciale cittadino pagando 16,000 rubli—poco meno di 200€. L’unica altra azione richiesta: inviare una foto della persona da monitorare. Dopo due giorni Anna Kuznetsova, la persona che si è offerta di rispondere all’annuncio, ha ricevuto un messaggio con una lista di tutti gli indirizzi che aveva visitato nel mese precedente, incluse 79 foto che confermano senza dubbio la sua identità—complete di indirizzo, data e ora del momento immortalato.

Non è chiaro se si tratti di una persona esterna che ha accesso al sistema di videosorveglianza oppure un abuso del sistema da parte delle forze dell’ordine, quel che è certo è che da quelle immagini era possibile ricostruire un quadro dettagliato della vita della donna: dove abita, il luogo di lavoro, e altre abitudini di spostamento giornaliere. 

Uno strumento del genere rischia di diventare un incubo se usato da stalker, fidanzati violenti o qualunque altro malintenzionato. Per non parlare dei rischi legati alla partecipazione a manifestazioni di piazza o proteste: sarebbe possibile seguire i partecipanti e mettere in pratica ritorsioni e minacce sapendo sempre dove e quando colpire la vittima. 

Non serve nemmeno che sia riconoscimento facciale

Alla luce delle proteste per l’impiego del riconoscimento facciale e dei ban che sono stati introdotti in diverse città statunitensi—e discussi in alcuni stati—, sempre più aziende stanno cercando di creare un’altra fascia di sorveglianza biometrica, cercando di smussare gli angoli e nascondendo sotto al tappeto le parti più controverse. Come sottolinea un recente articolo dell’Electronic Frontier Foundation (EFF), le forze dell’ordine stanno andando pazze per il termine “video analytics”, ovvero l’uso di machine learning, intelligenza artificiale, e algoritmi di computer vision per estrarre informazioni dai video: il genere della persona, la presenza di oggetti particolari, e riconoscere indumenti specifici. I manuali dei venditori di queste tecnologie, analizzati da EFF, sono la guida perfetta a un mondo distopico.

Attraverso tale sistema si può individuare lo spostamento di una persona impostando semplicemente il colore dei capelli, il genere, e qualche indumento distintivo. Non si tratta di riconoscimento facciale ma il risultato sarebbe lo stesso. 

Inoltre, sottolinea EFF, usare gli algoritmi per categorizzare i corpi sulla base del genere rischia di introdurre ulteriori discriminazioni. Studi scientifici dimostrano che questi algoritmi hanno impatti negativi su tutte quelle persone che sono gender nonconforming, nonbinary, trans, e che hanno un corpo con disabilità che le fa scostare dal criterio pericoloso di “corpo normale.” 

“Tali errori di identificazione possono creare danni concreti nel mondo reale, come far partire indagini sbagliate,” spiegano da EFF.

Simile è la situazione anche in Italia: nella città di Torino il progetto di videosorveglianza ARGO, che ufficialmente avrà inizio nel gennaio 2021, prevede il riconoscimento di persone di sesso femminile o maschile e degli indumenti che indossa. Proprio per questo motivo, tra i punti della campagna Reclaim Your Face chiediamo anche che il Garante Privacy monitori le evoluzioni dei progetti di videosorveglianza nelle municipalità italiane e che, soprattutto, obblighi le città di Torino e Udine alla pubblicazione tempestiva delle valutazioni di impatto sulla privacy dei cittadini. 

Il riconoscimento facciale e la sorveglianza biometrica sono degli strumenti di oppressione dei nostri diritti. Queste tecnologie mettono in piedi la possibilità di pedinare chiunque in ogni momento della giornata. Come ricorda il Garante privacy olandese, intervenuto in una trasmissione radiofonica, con queste tecnologie “è come se qualcuno ti seguisse con una telecamera e un blocco per gli appunti, è una società di sorveglianza che non vogliamo.”

---

Cos’è

Il riconoscimento facciale è un tipo di applicazione biometrica che utilizza l’analisi statistica e le previsioni algoritmiche per misurare e identificare automaticamente i volti delle persone. Lo scopo, oltre ad attribuire quindi un nome e un cognome al volto analizzato, è anche quello di fornire una valutazione o prendere una decisione: l’algoritmo trova una somiglianza tra il volto ripreso e quello di un sospetto? Allora la polizia interverrà per interrogare quella persona.

Il riconoscimento facciale può compiere diverse tipologie di analisi: dalla verifica di un volto (questa persona corrisponde alla foto del passaporto), all’identificazione di un volto (questa persona corrisponde a qualcuno nel nostro database), alla classificazione di un volto (questa persona è giovane). Altre distinzioni poi riguardano il quando viene utilizzato il riconoscimento facciale: dal vivo (ad esempio, analizzando in tempo reale le riprese delle telecamere a circuito chiuso per vedere se qualcuno per strada corrisponde a un criminale in un database della polizia) o non dal vivo (ad esempio, la corrispondenza di due foto fatta a posteriori).

Come funziona

Il riconoscimento facciale è una tecnologia biometrica, misura e trasforma il nostro volto in una serie di bit artificiali. Il nostro volto diventa una sequenza incomprensibile ai nostri occhi ma che per i computer è l’equivalente del nostro calco facciale: la posizione degli occhi, la forma del naso, i tratti salienti, vengono tutti fusi insieme.

Gli algoritmi di riconoscimento facciale hanno bisogno di due ingredienti: un database di volti su cui essere addestrati, e un algoritmo che calcola la probabilità che due immagini siano legate alla stessa persona. Diversi algoritmi possono portare a risultati diversi sia in base a come sono stati sviluppati sia su quali immagini sono stati addestrati.

Se un algoritmo vede solo immagini di maschi bianchi sarà bravissimo a riconoscere immagini simili ma sarà completamente incapace di riconoscere volti di donne nere o persone di colore. Ma attenzione: pur non riuscendo a riconoscerle non vuol dire che non produrrà dei risultati. L’algoritmo rischierà di effettuare uno scambio di persona come già avvenuto a Detroit.  

Dobbiamo ricordare che il riconoscimento facciale non è mai oggettivo, e pensare che la tecnologia sia neutra è un grave errore. Secondo l’Agenzia dell’Unione Europea per i Diritti Fondamentali (FRA), “un algoritmo non restituisce mai un risultato definitivo, ma solo delle probabilità.” Quando queste probabilità statistiche vengono interpretate come se fossero una certezza neutrale, possono esserci conseguenze negative per i nostri diritti umani e digitali.