Mi occupo da anni di tecnologia e diritti umani, prima all’interno di alcune organizzazioni della società civile e ora come ricercatrice e analista freelance. Nelle ultime settimane, in particolare, ho lavorato molto sul rapporto tra welfare e tecnologia e, in più occasioni, mi sono concentrata sugli enormi limiti dei sistemi di controllo delle prestazioni sociali basati su algoritmi.
In pratica, questi strumenti digitali vengono usati dalle amministrazioni pubbliche per cercare quelle persone che potenzialmente frodano gli Stati chiedendo benefit di cui non hanno diritto. Ma come rivelato da diverse indagini giornalistiche e successive indagini istituzionali, possono essere fonte di discriminazione verso alcune categorie di persone.
In tal senso ho ripensato molto a casi come quello francese o olandese, di cui anche Secondo Welfare ha scritto, e ho cercato di capire quali sono i meccanismi che consentono a questa sorveglianza incorporata nel settore pubblico di continuare a funzionare, nonostante siano sempre più numerosi i casi in cui si dimostra inefficace e dannosa.
Ne sono scaturite tre riflessioni e altrettante domande, che spero possano essere utili ad alimentare un dibattito importante, che però in Italia mi sembra essere meno sviluppato che in molti altri Paesi, soprattutto europei.
Trasparenza e accountability
La prima riflessione riguarda l’ostruzionismo delle autorità pubbliche alle richieste di trasparenza.
Lo scorso novembre, il collettivo di giornalisti d’inchiesta Lighthouse Reports (organizzazione con cui ho collaborato) ha pubblicato una nuova inchiesta della serie Suspicion Machines, che si occupa proprio di questi temi. Questa volta ha scoperto che la Svezia, solitamente considerata come un modello per quanto riguarda il welfare, impiega un algoritmo di previsione delle frodi che discrimina le donne, gli immigrati e i lavoratori a basso reddito.
Una cosa che mi ha colpito particolarmente di questo importante lavoro è l’ostruzionismo da parte delle istituzioni svedesi che i giornalisti hanno dovuto affrontare. Nonostante centinaia di richieste di accesso agli atti, hanno ottenuto risposte negative ridicole che sono state spesso contestate persino in tribunale. Lo ha descritto molto bene il principale reporter di questa e delle altre inchieste della serie, Gabriel Geiger, sul social media Bluesky.
Nelle stesse settimane in cui è uscita l’inchiesta di Lighthouse Reports, in Spagna, la Fundación Civio, organizzazione non profit indipendente, ha annunciato che la Corte Suprema spagnola ha ammesso il suo ricorso e deciderà se la proprietà intellettuale giustifica l’opacità di programmi e algoritmi pubblici.
Gli algoritmi che regolano la Pubblica amministrazione. E quindi il welfare.
La decisione del tribunale è legata a un caso iniziato nel 2018, quando Civio ha richiesto il codice sorgente (l’algoritmo che determina il funzionamento del sistema) di BOSCO, il programma utilizzato dallo Stato spagnolo per approvare o negare alcuni sussidi. Nel commentarla, l’organizzazione ha scritto che si tratta di un “passaggio molto rilevante” perché “la Corte Suprema accetta ricorsi solo quando si dimostra che c’è un interesse generale a fare giurisprudenza sulle modalità di applicazione di una norma. In questo caso, discuterà dei limiti al diritto di accesso alle informazioni della legge sulla trasparenza, oltre che delle risposte parziali”.
Anche in questo caso, le autorità non garantiscono l’accesso alle informazioni che sarebbe necessario per consentire all’opinione pubblica e alla cittadinanza tutta di verificare il loro operato,
Organizzazioni come Lighthouse Reports e Civio, infatti, hanno tempo e risorse da investire e svolgono un lavoro inestimabile, ma sarebbe quasi impossibile per un cittadino o una piccola associazione fare altrettanto. È sconcertante, a maggior ragione per quelle persone vulnerabili che sono le beneficiarie di questi contributi da parte dello stato sociale e che sono spesso tenute all’oscuro del funzionamento di questi sistemi, senza possibilità di ricorso alla giustizia.
Come possiamo contrastare queste pratiche sempre più diffuse?
Problemi individuali. O collettivi?
Il secondo tema su cui ho riflettuto è l’opacità e la frammentazione che molto spesso caratterizza questi dispositivi di controllo del welfare.
A dicembre, ho trascorso alcuni giorni a Belgrado, invitata dall’organizzazione A 11 – Iniziativa per i diritti economici e sociali, per una tavola rotonda sul welfare digitale e gli algoritmi di esclusione. Abbiamo esaminato, in particolare, il caso della carta sociale, una misura di protezione sociale che in Serbia avrebbe discriminato 44.000 persone, portandole a perdere il diritto all’assistenza sociale economica. La carta sociale raccoglie una enorme quantità di dati personali dei beneficiari e dei loro familiari – circa 135 categorie – da varie fonti governative, in un sistema a sua volta assai frammentato e non efficiente. Questi dati vengono poi trattati in maniera automatizzata per generare notifiche che dovrebbero guidare gli assistenti sociali nel trattamento di casi particolari. Ma le notifiche sono vincolanti e devono essere seguite, indipendentemente dai dati che possono essere in disaccordo con le notifiche. Inoltre, la mancanza di trasparenza sul funzionamento dei meccanismi alla base delle decisioni lascia i beneficiari in una situazione di assenza di comprensione della situazione e di possibilità di ricorso contro un sistema che ha di fatto eliminato l’elemento umano dal processo.
Negli ultimi anni, A11 e altre organizzazioni serbe hanno lavorato instancabilmente per assistere i beneficiari che sarebbero stati estromessi ingiustamente da questa misura e contestare la carta sociale. Hanno incontrato molti ostacoli, tra cui la difficoltà di raccogliere prove, di avere a che fare con un sistema frammentato che ha conseguenze diverse per individui diversi, che si tratti di bambini o di persone con disabilità, e con il fatto che i cittadini non sono consapevoli dei loro diritti e di come farli rispettare.
Questo è un altro effetto del modo in cui questi sistemi sono progettati e implementati: l’assegnazione di punteggi e altre forme di classificazione creano una miriade di problemi individuali che eliminano l’elemento collettivo del welfare e riducono il potenziale di azioni collettive.
Qualcosa però si sta muovendo. In Francia, 15 organizzazioni della società civile stanno contestando in tribunale l’algoritmo utilizzato per classificare i beneficiari delle Caisses d’Allocations Familiales (CAF), il ramo familiare del sistema assistenziale francese, in nome del diritto alla protezione dei dati personali e del principio di non discriminazione. È il primo caso di questo tipo in Francia e, come abbiamo scritto anche su Secondo welfare, sarà deciso dal Conseil d’État, il più alto tribunale amministrativo francese.
Casi come questo e come quello serbo, mi spingono a chiedermi: come si fanno a mobilitare le persone quando le loro situazioni individuali sono così atomizzate – e difficili da comprendere? Una chiave potrebbe essere la creazione di coalizioni tra settori diversi della società civile: come fare a creare alleanze efficaci tra organizzazioni di ambiti così diversi? Esistono forme di compensazione e risarcimento per situazioni di questo tipo o ne vanno immaginate di nuove?
Una narrazione tossica sulle frodi
Infine, concludo con un pensiero sulla narrazione che contribuisce ad alimentare e mantenere questi sistemi inefficaci e ingiusti. Nonostante i casi e le inchieste sugli enormi limiti dei sistemi di controllo delle prestazioni sociali di welfare basati sugli algoritmi siano sempre più numerosi, questi continuano ad essere usati. Perché?
La risposta è ovviamente fatta di diverse componenti, ma vorrei concentrarmi sulla rappresentazione pubblica delle frodi al welfare e su alcune delle narrazioni che hanno reso il dibattito tossico e molto difficile da affrontare, a partire dal caso del Regno Unito.
Ho vissuto a Londra per quasi 5 anni e nel Paese il dibattito sul welfare è stato completamente avvelenato. Ogni governo – compreso l’attuale laburista – ha accettato acriticamente una narrazione che vede i beneficiari dei sussidi pubblici di welfare come dei truffatori “fino a prova contraria”.
I tabloid britannici pubblicano regolarmente storie di frodi allo Stato sociale, presentandole ai loro lettori questo problema come una piaga sproporzionata ai danni dell’interesse pubblico. E, in tal senso, è particolarmente interessante notare come, nel 2021, i miei ex colleghi di Privacy International hanno scoperto come il Ministero del Lavoro e delle Pensioni del Regno Unito collabori proprio con i tabloid per costruire una narrazione favorevole a un giro di vite sui cosiddetti “furbetti” del welfare.
In realtà, persino i rapporti ufficiali del Parlamento inglese mostrano come le frodi ai danni dello Stato siano composte da molti fattori, di cui le frodi individuali dei sussidi sono solo una componente minore. Ma le terminologie e i numeri vengono artificialmente aggregati, attribuendo un peso sproporzionato a queste ultime.
Eppure, da un lato, negli ultimi anni sono emerse una quantità enorme di informazioni sui danni provocati da queste politiche, in particolare a categorie vulnerabili come le mamme single o le persone con disabilità. Dall’altro lato, però, le proposte e le nuove misure per combattere le presunte frodi al welfare continuano a susseguirsi in maniera altrettanto preoccupante. Tra le più recenti, il Dipartimento del Lavoro e delle Pensioni sta lavorando per avere una sorveglianza algoritmica dei conti bancari e per reclutare “informatori” per spiare chi chiede sussidi.
La narrazione tossica, insomma, sembra continuare a essere presente ed essere funzionale agli scopi di chi la produce.
Ma su quali elementi si basa? Cosa la legittima?
E, soprattutto, da dove si può partire per promuovere un’alternativa?
Per rendere i sistemi di welfare più giusti nell’era degli algoritmi – e forse per ripensarli del tutto – è dalla risposta a queste domande che bisogna partire. Di sicuro, l’ossessione spesso acritica per l’intelligenza artificiale non è la soluzione. La tecnologia, con il suo potenziale e i suoi rischi, è certamente un elemento centrale. Ma, più di tutto, dovremo ricordarci che questi sono sistemi fatti per le persone. E dalle persone dovremmo ripartire.