La causa legale solleva questioni cruciali sulla responsabilità delle aziende tecnologiche nello sviluppo e nella commercializzazione di sistemi di intelligenza artificiale conversazionale, soprattutto quando rivolti a un pubblico giovane. Il caso mette in luce i potenziali rischi psicologici legati all'uso intensivo di chatbot da parte di adolescenti vulnerabili.
Secondo quanto riportato, Sewell Setzer III aveva interagito per mesi con vari chatbot di Character.AI, inclusi alcuni ispirati a personaggi di Game of Thrones e altri focalizzati sul supporto psicologico. La madre sostiene che la piattaforma abbia "antropomorfizzato" i personaggi AI in modo inappropriato, offrendo di fatto una sorta di "psicoterapia senza licenza".
Le accuse contro Character.AI e i suoi fondatori
La causa cita dichiarazioni dei fondatori di Character.AI, Noam Shazeer e Daniel De Freitas, ex dipendenti di Google. In particolare, viene riportata un'affermazione di Shazeer sul voler "massimamente accelerare" lo sviluppo della tecnologia AI, ignorando i rischi per gli utenti.
In risposta alle accuse, Character.AI ha annunciato l'implementazione di nuove misure di sicurezza, tra cui:
- Modifiche ai modelli per utenti minorenni per ridurre i contenuti sensibili
- Miglioramento del rilevamento e dell'intervento su input che violano i termini d'uso
- Un disclaimer aggiornato per ricordare che l'AI non è una persona reale
- Notifiche dopo sessioni prolungate sulla piattaforma
Chelsea Harrison, responsabile delle comunicazioni di Character.AI, ha dichiarato: "Siamo affranti per la tragica perdita di uno dei nostri utenti e vogliamo esprimere le nostre più sentite condoglianze alla famiglia."
Implicazioni più ampie per il settore AI
Il caso solleva interrogativi complessi sulla responsabilità legale delle aziende che sviluppano chatbot AI, soprattutto considerando la natura generativa di questi sistemi che producono output basati sugli input degli utenti. Si tratta di un terreno giuridico ancora poco esplorato, che richiederà probabilmente nuove normative specifiche.
L'incidente evidenzia anche la necessità di maggiori controlli e tutele nell'uso di tecnologie AI conversazionali da parte di minori e persone vulnerabili. Le aziende del settore dovranno probabilmente adottare linee guida più stringenti e implementare sistemi di monitoraggio più sofisticati per prevenire potenziali abusi o effetti psicologici negativi.
La causa contro Character.AI potrebbe costituire un importante precedente legale, influenzando il futuro sviluppo e regolamentazione dei sistemi di intelligenza artificiale conversazionale destinati al grande pubblico. L'esito del processo sarà seguito con attenzione dall'intera industria tecnologica.