Secondo Valérie Pras di Collectif Changer de Cap, una delle organizzazioni querelanti, "Questa è la prima volta che un algoritmo pubblico è oggetto di una sfida legale in Francia". L'obiettivo è ottenere il divieto di utilizzo di questi algoritmi nel sistema di welfare.
Discriminazione algoritmica e sorveglianza di massa
Le organizzazioni per i diritti umani sostengono che l'algoritmo viola le norme europee sulla privacy e le leggi antidiscriminazione francesi. Basandosi sull'analisi di versioni precedenti del modello, presumibilmente in uso fino al 2020, La Quadrature du Net afferma che il sistema discrimina gruppi emarginati.Bastien Le Querrec, esperto legale di La Quadrature du Net, spiega: "Le persone che ricevono un'indennità sociale riservata alle persone con disabilità sono direttamente prese di mira da una variabile nell'algoritmo. Il punteggio di rischio per le persone che ricevono l'AAH (Allocation Adulte Handicapé) e che lavorano viene aumentato".
L'algoritmo assegnerebbe inoltre punteggi più alti alle famiglie monoparentali rispetto a quelle con due genitori, discriminando indirettamente le madri single che statisticamente hanno maggiori probabilità di essere le uniche responsabili dei figli.Implicazioni europee e future sfide legali
Il caso francese ha implicazioni che vanno oltre i confini nazionali. Gli algoritmi di welfare potrebbero rappresentare uno dei primi banchi di prova per l'applicazione delle nuove norme UE sull'intelligenza artificiale, che entreranno in vigore nel febbraio 2025.Matthias Spielkamp, cofondatore dell'organizzazione no-profit Algorithm Watch, commenta: "Molti di questi sistemi di welfare che effettuano il rilevamento delle frodi potrebbero, a mio avviso, essere considerati social scoring nella pratica". Tuttavia, i rappresentanti del settore pubblico potrebbero non essere d'accordo con questa definizione, aprendo la strada a possibili controversie legali.
Criticità e conseguenze dell'uso di algoritmi nel welfare
L'utilizzo di algoritmi per individuare errori o frodi nei sistemi di welfare non è una prerogativa francese. Diversi paesi europei, tra cui Paesi Bassi, Danimarca e Serbia, fanno uso di tecnologie simili.Soizic Pénicaud, docente di politiche sull'IA presso Sciences Po Paris, sottolinea: "Non ho visto alcun esempio in Europa o nel mondo in cui questi sistemi siano stati utilizzati con risultati positivi".
Le conseguenze dell'applicazione di questi algoritmi possono essere gravi. Nei Paesi Bassi, decine di migliaia di persone, molte delle quali appartenenti alla comunità ghanese, sono state falsamente accusate di frode ai danni del sistema di sussidi per l'infanzia. Oltre a dover restituire il denaro che l'algoritmo sosteneva avessero rubato, molte di queste persone affermano di essere rimaste con debiti crescenti e rating creditizi compromessi.La sfida legale in Francia mira a porre fine all'uso di questi algoritmi nel sistema di welfare, evidenziando i rischi di discriminazione e violazione della privacy che comportano. L'esito di questa causa potrebbe avere un impatto significativo sul futuro utilizzo dell'intelligenza artificiale nelle politiche sociali in tutta Europa.