L'intelligenza artificiale ha spalancato una porta inquietante sulla creazione di immagini esplicite, rivelando un lato oscuro della tecnologia che sta sfuggendo al controllo normativo. Una recente scoperta ha portato alla luce un database contenente oltre 95.000 record di immagini generate con l'AI, molte delle quali rappresentavano materiale pedopornografico artificiale e contenuti sessuali espliciti non consensuali. L'archivio, lasciato completamente accessibile online senza protezioni, offre uno spaccato allarmante di come gli strumenti di generazione d'immagini possano essere utilizzati per creare contenuti profondamente dannosi.
Il database senza protezione: una finestra sul mercato dell'abuso digitale
A inizio marzo, il ricercatore di sicurezza Jeremiah Fowler ha scoperto un archivio completamente esposto appartenente a GenNomis, un'azienda sudcoreana specializzata in strumenti di generazione d'immagini. Il database, privo di password o crittografia, conteneva oltre 45 gigabyte di dati, principalmente immagini create con l'intelligenza artificiale. Tra queste, Fowler ha individuato contenuti particolarmente allarmanti: celebrità come Ariana Grande, le Kardashian e Beyoncé "ringiovanite" artificialmente per apparire come minorenni, oltre a numerosi esempi di materiale pedopornografico generato artificialmente.
Subito dopo la segnalazione di Fowler, GenNomis ha chiuso l'accesso al database, ma non ha mai risposto alle sue comunicazioni. Quando WIRED ha contattato l'azienda per un commento, i siti web sia di GenNomis che della società madre AI-Nomis sono stati messi offline, con la prima che ora mostra solamente una pagina di errore 404.
Un fenomeno in rapida espansione
"Ciò che rende questa situazione terrificante è quanto sia semplice creare questo tipo di contenuti", afferma Fowler. Il ricercatore ha trovato non solo immagini esplicite di minori generate con l'IA, ma anche scambi di volto (face-swap) in cui foto reali di persone venivano manipolate per creare contenuti pornografici non consensuali.
Questo caso si inserisce in un contesto preoccupante: negli ultimi anni sono proliferati decine di siti web, bot e applicazioni di "deepfake" che hanno preso di mira migliaia di donne e ragazze con immagini dannose. Parallelamente, si è verificato un aumento esponenziale di materiale pedopornografico generato con l'intelligenza artificiale.
Quando era ancora attivo, il sito GenNomis si presentava come una piattaforma per "generare immagini senza restrizioni", vantando una sezione "NSFW" (non adatta al luogo di lavoro) e un "marketplace" dove gli utenti potevano condividere e potenzialmente vendere album di foto generate con l'IA. Nonostante le linee guida della comunità proibissero esplicitamente contenuti illegali e pornografia infantile, il database conteneva prompt che utilizzavano termini come "tiny", "girl" e riferimenti ad atti sessuali tra familiari e celebrità.
L'insufficienza dei sistemi di moderazione
Non è chiaro quali strumenti di moderazione GenNomis utilizzasse per prevenire la creazione di materiale pedopornografico artificiale. Alcuni utenti avevano segnalato nella sezione "community" del sito di non essere riusciti a generare determinate immagini, suggerendo l'esistenza di qualche forma di filtro, mentre altri esprimevano preoccupazione che i contenuti "NSFW" potessero attirare l'attenzione delle autorità.
"Se sono stato in grado di vedere quelle immagini con nient'altro che l'URL, questo dimostra che non stavano adottando tutte le misure necessarie per bloccare quei contenuti", sostiene Fowler. Secondo Henry Ajder, esperto di deepfake e fondatore della società di consulenza Latent Space Advisory, il branding del sito – con riferimenti a creazione di immagini "senza restrizioni" e una sezione "NSFW" – indicava una chiara associazione con contenuti intimi senza adeguate misure di sicurezza.
L'emergenza globale dei deepfake abusivi
È particolarmente sorprendente che il sito in lingua inglese fosse collegato a un'entità sudcoreana, considerando che lo scorso anno il paese asiatico ha affrontato un'"emergenza deepfake" che ha preso di mira le ragazze, prima di adottare misure per combattere questa ondata di abusi digitali. Secondo Ajder, è necessario esercitare maggiore pressione su tutte le parti dell'ecosistema che permette la generazione di immagini non consensuali utilizzando l'IA: dai legislatori alle piattaforme tecnologiche, dalle società di web hosting ai fornitori di servizi di pagamento.
Derek Ray-Hill, CEO ad interim dell'Internet Watch Foundation (IWF), organizzazione britannica che si occupa di contrastare il materiale pedopornografico online, afferma che "le pagine web contenenti materiale pedopornografico generato con l'IA sono quadruplicate dal 2023, e il fotorealismo di questi contenuti orribili ha fatto un salto di sofisticazione". L'IWF ha documentato come i criminali stiano sempre più creando materiale pedopornografico artificiale e perfezionando i metodi utilizzati.
Clare McGlynn, professoressa di diritto all'Università di Durham specializzata in abusi online e basati su immagini, sottolinea che "questo esempio mostra, ancora una volta, l'inquietante misura in cui esiste un mercato per l'IA che consente la generazione di tali immagini abusive. Dovrebbe ricordarci che la creazione, il possesso e la distribuzione di materiale pedopornografico non sono rari e attribuibili a individui malati, ma rappresentano un problema sistemico che richiede interventi urgenti".