Rebecca Dorn, dottoranda in informatica presso la USC Viterbi School of Engineering, ha scoperto che gli utenti non binari ricevono meno interazioni sui social media e i loro post vengono segnalati più frequentemente come tossici dagli algoritmi di moderazione, anche quando non contengono contenuti dannosi. Questo problema di visibilità rischia di marginalizzare le voci non binarie in importanti conversazioni online.
La ricerca ha inoltre rivelato che i modelli linguistici faticano a interpretare correttamente il contesto di termini un tempo offensivi ma ora rivendicati con orgoglio dalla comunità LGBTQ+. Dorn e il suo collega Lee Kezar hanno creato un dataset chiamato QueerReclaimLex per testare cinque popolari modelli linguistici, scoprendo che questi sistemi spesso non riescono a cogliere l'uso positivo o neutro di questi termini da parte di individui queer.
Impatto sulla libertà di espressione online
Questa tendenza a etichettare erroneamente il linguaggio queer come tossico rischia di silenziare le voci delle comunità che i sistemi di moderazione dovrebbero proteggere. Come spiega Dorn: "È frustrante perché significa che questi sistemi stanno rafforzando l'emarginazione di queste comunità". La ricercatrice sottolinea l'importanza di sviluppare algoritmi più sfumati e equi per la moderazione dei contenuti online.
La professoressa Kristina Lerman, co-autrice degli studi, avverte: "Questo lavoro ci ricorda come ricercatori che non possiamo fidarci ciecamente dei risultati dei nostri modelli di IA. Le osservazioni che stiamo facendo del mondo - in questo caso, il linguaggio online nelle comunità di genere queer - potrebbero non riflettere accuratamente la realtà".
Verso sistemi di moderazione più inclusivi
Gli studi condotti da Dorn e colleghi evidenziano la necessità di ripensare i sistemi di moderazione dei contenuti basati sull'IA per renderli più inclusivi e rispettosi delle diverse comunità. È fondamentale che questi modelli siano in grado di cogliere le sfumature linguistiche e contestuali proprie dei gruppi marginalizzati, evitando di perpetuare pregiudizi e discriminazioni online.
La ricerca apre importanti riflessioni sul ruolo dell'IA nel plasmare gli spazi digitali e sulla necessità di un approccio più consapevole e attento alle diversità nell'addestramento di questi sistemi. Solo così sarà possibile garantire che le tecnologie di moderazione proteggano realmente tutte le voci, senza silenziare involontariamente quelle che intendono tutelare.