In Francia la prima azione legale contro l’algoritmo del welfare

Nessuno si aspettava l’inquisizione francese. E invece ora l’algoritmo del welfare finirà di fronte a un tribunale.

In un Paese noto per le sue misure sociali, l’inchiesta pubblicata da Le Monde in collaborazione con Lighthouse Reports nel dicembre 2023, che ha svelato l’utilizzo di un algoritmo nel sistema di welfare che colpisce le persone più vulnerabili, ha suscitato scalpore, interrogazioni parlamentari e campagne pubbliche di denuncia.

Per più di un decennio e senza alcuna consultazione pubblica, ha rivelato l’inchiesta, l’agenzia francese responsabile del sistema di sicurezza sociale ha utilizzato sistemi predittivi su vasta scala nella caccia alle frodi previdenziali assegnando un punteggio di rischio segreto a 13 milioni di famiglie, quasi la metà della popolazione francese.

Proteggere i dati personali e non discriminare

Lo scorso 15 ottobre, 15 organizzazioni¹della società civile hanno annunciato un ricorso al Conseil d’État, il più alto tribunale amministrativo francese, contro l’algoritmo utilizzato per assegnare un punteggio ai beneficiari delle Caisses Nationale d’Allocations Familiales (CNAF), l’agenzia francese responsabile del sistema di sicurezza sociale, contestando il sistema in nome del diritto alla protezione dei dati personali e del principio di non discriminazione. Si tratta della prima azione legale contro un algoritmo di social scoring utilizzato da un’autorità pubblica in Francia. La coalizione comprende organizzazioni che si occupano di assistenza sociale, diritti digitali, precariato, disabilità e di reddito di base, oltre a storiche organizzazioni per i diritti umani come Amnesty International Francia e la Ligue des droits de l’homme.

Welfare e tecnologia: il lato oscuro della digitalizzazione

La causa nasce dal lavoro parallelo e collaborativo di giornalisti d’inchiesta e di gruppi di attivisti per i diritti digitali. L’organizzazione di giornalismo investigativo Lighthouse Reports – che già ha pubblicato altre inchieste su algoritmi nei sistemi di welfare in Europa – ha collaborato con Le Monde per indagare su un algoritmo utilizzato dalla CNAF, utilizzato da oltre un decennio, per prevedere quali beneficiari di prestazioni sociali possono commettere frodi. Grazie alle leggi francesi sulla libertà d’informazione, Le Monde ha ottenuto il codice sorgente di tre modelli di valutazione del rischio utilizzati dal CNAF tra il 2010 e il 2023, che ha permesso ai giornalisti di “smontare il modello” e di verificare quali tipi di persone avevano maggiori probabilità di essere segnalate per le indagini.

Parallelamente, i gruppi per i diritti digitali La Quadrature du Net e Changer de Cap hanno avviato azioni legali per chiedere al CNAF di rilasciare il codice dell’algoritmo. Il CNAF ha divulgato a La Quadrature il codice sorgente. Secondo l’analisi di La Quadrature, tra i fattori che aumentano il punteggio di sospetto vi sono il basso reddito, la disoccupazione, la percezione del reddito minimo o delle prestazioni di invalidità. Come diretta conseguenza, gli individui in situazione di vulnerabilità si trovano ad essere eccessivamente monitorati rispetto al resto della popolazione.

La doppia punizione dell’algoritmo

L’algoritmo assegna un punteggio di sospetto a ciascun beneficiario e seleziona quelli da sottoporre a ulteriori controlli. Più alto è il punteggio, maggiore è la probabilità di essere controllati. Ed è anche sui controlli, stressanti e invasivi, che le organizzazioni portano la loro critica, sottolineando come siano regolarmente accompagnati dalla sospensione dei pagamenti delle prestazioni e preceduti da richieste di rimborso di pagamenti indebiti senza alcuna giustificazione. Nei casi più gravi, alcuni beneficiari rimangono illegalmente senza alcun reddito. Inoltre, i ricorsi non sono sempre comprensibili o accessibili.

Algoritmi e dati: l’importanza di farsi le domande giuste

Equiparando la povertà al sospetto di frode, questo algoritmo fa parte di una politica di stigmatizzazione che porta all’abuso istituzionale dei più svantaggiati” scrivono le 15 associazioni nel comunicato stampa in cui annunciano il ricorso. L’azione legale, dicono le associazioni, è anche un modo per allertare l’opinione pubblica sull’uso crescente e sempre più pervasivo di questi algoritmi in altri settori della previdenza sociale francese, in nome della “lotta alla frode sociale”.

“Questo algoritmo è la manifestazione di una politica di persecuzione delle persone più povere”, afferma Bastien Le Querrec, responsabile legale de La Quadrature du Net. “Chi si trova in una posizione economicamente vulnerabile sarà sospettato agli occhi dell’algoritmo e quindi controllato. È una doppia punizione”.

1. Le organizzazioni sono: La Quadrature du Net (LQDN), Association d’Accès aux Droits des Jeunes et d’Accompagnement vers la Majorité (AADJAM), Aequitaz, Amnesty International France, Association nationale des assistant·e·s de service social (ANAS), APF France handicap, Collectif Changer de Cap, Fondation Abbé Pierre, Groupe d’information et de soutien des immigré·es (Gisti), Le Mouton numérique, La Ligue des droits de l’Homme (LDH), Mouvement national des chômeurs et précaires (MNCP), Mouvement Français pour un Revenu de base (MFRB), CNDH Romeurope, Syndicat des avocats de France (SAF).