L'incidente ha sollevato serie preoccupazioni sulla sicurezza dei dati e sull'integrità dei processi di protezione dei minori. L'Ovic ha condotto un'indagine approfondita, rivelando che l'uso improprio di ChatGPT non si limitava a un singolo caso, ma potenzialmente coinvolgeva centinaia di dipendenti del dipartimento.
I dettagli dell'incidente
Il caso più grave riguardava la redazione di un rapporto di protezione per un minore i cui genitori erano stati accusati di reati sessuali. Il commissario Sean Morrison ha rilevato molteplici indicazioni dell'uso di ChatGPT nel documento, tra cui linguaggio non standard e strutture frasali inappropriate.
Ancora più preoccupante, il rapporto conteneva informazioni personali inaccurate. In particolare, descriveva un giocattolo del bambino - segnalato come utilizzato dal padre per scopi sessuali - come un punto di forza degli sforzi dei genitori per supportare le esigenze di sviluppo del figlio con "giocattoli adatti all'età".
Sebbene il rapporto non abbia influenzato le decisioni dell'agenzia di protezione dei minori o del tribunale, l'inserimento di informazioni in ChatGPT è stato considerato una divulgazione non autorizzata di dati sotto il controllo del dipartimento.
L'estensione del problema
L'indagine dell'Ovic ha rivelato che: - Il dipendente in questione potrebbe aver utilizzato ChatGPT in 100 casi per redigere documenti relativi alla protezione dei minori. - Da luglio a dicembre 2023, quasi 900 dipendenti del dipartimento hanno avuto accesso al sito web di ChatGPT, rappresentando circa il 13% della forza lavoro.
Il dipendente ha ammesso di aver utilizzato ChatGPT "per risparmiare tempo e presentare il lavoro in modo più professionale", ma ha negato di aver inserito informazioni personali. Tuttavia, i colleghi hanno riferito che il lavoratore "aveva dimostrato ad altri il suo uso di ChatGPT, che comportava l'inserimento di nomi di clienti nello strumento per creare contenuti".
Le misure adottate
In risposta all'incidente, l'Ovic ha emesso ordini al dipartimento, tra cui: - Il blocco degli IP e dei domini per una serie di siti web di AI generativa, tra cui ChatGPT, Meta AI, Gemini e Copilot. - Il divieto deve rimanere in vigore per due anni a partire dal 5 novembre.
Il dipartimento ha accettato le conclusioni e si è impegnato a implementare gli ordini. Ha anche dichiarato di non impiegare più il lavoratore coinvolto nell'incidente.
L'Ovic non ha escluso completamente l'uso futuro dell'AI generativa, ma ha sottolineato che l'ambiente di rischio dovrebbe cambiare significativamente e che la protezione dei minori richiede i più alti standard di cura. "Qualsiasi richiesta di modificare le azioni specificate in relazione al personale, alle informazioni o alle attività di protezione dei minori dovrebbe essere accompagnata dai più elevati standard di prove verificabili", ha affermato l'Ufficio.
Questo caso evidenzia i rischi associati all'uso non regolamentato dell'intelligenza artificiale in settori sensibili come la protezione dei minori, sottolineando la necessità di linee guida rigorose e formazione del personale per garantire la sicurezza e la privacy dei dati sensibili.