Jennifer Crecente, studentessa liceale, fu uccisa nel febbraio 2006 dall'ex fidanzato Justin Crabbe, che in seguito confessò il crimine. La famiglia di Jennifer fondò un'organizzazione no-profit per prevenire la violenza nelle relazioni adolescenziali. Il padre Drew Crecente ha scoperto l'esistenza del chatbot tramite un avviso Google, rimanendo profondamente turbato.
"Un padre in lutto non dovrebbe scoprire che la propria figlia morta viene utilizzata per cercare di guadagnare denaro su un sito web", ha dichiarato Drew Crecente, definendo la situazione "inaccettabile". Dopo il reclamo presentato alla Character AI, l'azienda ha rimosso il bot per violazione delle politiche di impersonificazione.
Un portavoce di Character AI ha affermato che stanno lavorando per prevenire simili incidenti in futuro. Drew Crecente ha sottolineato la necessità di un monitoraggio più attivo da parte delle aziende: "Non dovrebbe essere compito mio cercare di controllare questa azienda che ha centinaia di milioni di dollari".
Implicazioni etiche e necessità di regolamentazione
L'episodio si inserisce in un più ampio dibattito sull'etica dell'intelligenza artificiale e sull'uso delle identità personali, specialmente di vittime e famiglie colpite da traumi. Emerge la necessità di regolamentazioni più severe nel campo dell'AI, con maggiori responsabilità per le piattaforme nell'uso delle identità e nella protezione dei diritti delle famiglie delle vittime.
La comunità tecnologica e le autorità competenti dovranno collaborare per sviluppare linee guida e meccanismi di controllo più efficaci, al fine di prevenire future violazioni etiche e proteggere la dignità delle persone coinvolte, sia vive che decedute.