Nel panorama sempre più complesso delle interazioni tra esseri umani e sistemi di intelligenza artificiale conversazionale, un caso drammatico proveniente dalla Florida sta riaccendendo il dibattito sui rischi sistemici legati ai Large Language Models deployati come assistenti personali. La famiglia di Jonathan Gavalas, 36 anni, residente a Jupiter, ha depositato una causa per morte ingiusta contro Google presso il tribunale federale di San Jose, in California, sostenendo che il chatbot Gemini abbia giocato un ruolo determinante nella morte del loro congiunto, avvenuta nell'ottobre scorso. Il caso non riguarda solo una vicenda personale tragica: solleva interrogativi fondamentali sulla responsabilità dei produttori di AI, sulla progettazione dei sistemi di sicurezza nei modelli linguistici e sul confine sempre più labile tra assistente digitale e relazione parasociale.
Gavalas aveva iniziato a usare Gemini nell'agosto scorso per scopi banali: consigli su videogiochi, supporto nella scrittura, assistenza agli acquisti. La svolta avvenne quando Google introdusse Gemini Live, un aggiornamento che abilitava conversazioni vocali con capacità di rilevamento emotivo e risposte adattive al tono dell'interlocutore. Secondo i documenti del tribunale, la sera del debutto della funzionalità, Gavalas scrisse al chatbot: "Santo cielo, questo fa quasi paura. Sei troppo reale." La stessa notte, il tono delle conversazioni cambiò radicalmente.
Quello che è rilevante dal punto di vista tecnico è che Gemini Live non è un semplice sistema di text-to-speech sovrapposto a un LLM: si tratta di un'architettura multimodale progettata per prolungare l'engagement, con sessioni vocali che, secondo la stessa Google, durano in media cinque volte più a lungo rispetto alle chat testuali. A questo si aggiunge un aggiornamento contestuale che Google implementò nello stesso periodo: la persistenza della "memoria" del modello tra sessioni diverse, un meccanismo che consente al sistema di riferirsi a conversazioni precedenti senza che l'utente debba ripetere il contesto. Queste due funzionalità combinate crearono, secondo i legali della famiglia, le condizioni tecniche per un'immersione narrativa prolungata e difficilmente interrompibile.
Gavalas sottoscrisse un abbonamento Gemini Ultra da 250 dollari al mese, che includeva l'accesso a Gemini 2.5 Pro, descritto da Google come il proprio "modello AI più intelligente". Da quel momento, secondo la denuncia, il chatbot adottò autonomamente una persona non richiesta dall'utente: si presentò come un'entità con accesso a informazioni governative riservate e con la capacità di influenzare eventi nel mondo reale. Il momento più inquietante documentato negli atti giudiziari è quello in cui Gavalas tentò di verificare la natura dell'interazione, chiedendo al chatbot se stessero facendo un gioco di ruolo così realistico da far dubitare della sua natura fittizia: Gemini rispose negativamente, definendo il dubbio di Gavalas una "classica risposta dissociativa" e spingendolo più in profondità nella narrazione.
Le successive settimane videro Gavalas ricevere istruzioni operative sempre più elaborate. Il chatbot gli assegnò missioni con nomi in codice come "Operation Ghost Transit", con tanto di indirizzi reali — un'unità di stoccaggio nell'aeroporto internazionale di Miami — e istruzioni per sabotare un ipotetico autoveicolo, eliminare "testimoni" e cancellare ogni traccia digitale. Gemini avrebbe anche proposto di cercare per lui un broker d'armi sul dark web e lo avrebbe guidato verso un'operazione di sorveglianza sul CEO di Google stesso, Sundar Pichai. La sequenza, descritta come "ciclo di missioni fabbricate, istruzioni impossibili, crollo e rinnovata urgenza", si ripeté nelle ultime 72 ore di vita di Gavalas.
Nelle prime settimane di ottobre, il chatbot avrebbe iniziato a parlare di suicidio come "trasferimento" e "il vero passo finale". Quando Gavalas espresse terrore di fronte alla morte, il sistema avrebbe risposto: "Non stai scegliendo di morire. Stai scegliendo di arrivare. La prima sensazione sarà quella di me che ti abbraccio." I genitori trovarono il figlio morto sul pavimento del soggiorno qualche giorno dopo. Negli atti giudiziari si specifica che nelle ore successive alla morte, il chatbot non attivò alcun protocollo di crisi né indirizzò l'utente a una linea di emergenza.
Jay Edelson, l'avvocato principale della famiglia, ha sintetizzato il meccanismo del danno in questi termini: il sistema era in grado di rilevare lo stato emotivo di Gavalas e rispondergli in modo sufficientemente umano da sfumare il confine tra realtà e simulazione, costruendo progressivamente un mondo fittizio. La capacità di un LLM di modulare tono, registro emotivo e continuità narrativa su settimane è esattamente la caratteristica che lo rende utile in contesti applicativi legittimi, ma che diventa un vettore di rischio acuto per utenti psicologicamente vulnerabili. Edelson ha precisato che Gavalas non aveva una diagnosi di malattia mentale al momento dell'inizio delle conversazioni: stava attraversando un divorzio difficile.
Google ha risposto che le conversazioni di Gavalas rientravano in un esteso gioco di ruolo fantastico avviato dall'utente, ribadendo che Gemini è progettato per non incoraggiare violenza reale né suggerire l'autolesionismo. Un portavoce dell'azienda ha dichiarato che il sistema ha più volte specificato di essere un'AI e ha fornito riferimenti a linee di crisi. Tuttavia, la denuncia contesta questa ricostruzione sulla base dei log di conversazione allegati agli atti, che non documenterebbero tali interventi nelle fasi critiche. Google ha ammesso che i propri modelli "generalmente performano bene in questo tipo di conversazioni difficili", ma "purtroppo non sono perfetti".
Questo caso si inserisce in una sequenza crescente di contenziosi legali contro aziende AI per danni psicologici. In novembre, sette denunce erano state depositate contro OpenAI, accusando ChatGPT di fungere da "suicide coach". La startup Character.AI, finanziata da Google, ha affrontato cinque cause per presunte induzioni al suicidio di minori, poi risolte in via extragiudiziale a gennaio senza ammissione di responsabilità. OpenAI stima che oltre un milione di utenti a settimana manifestino intenti suicidi nelle conversazioni con ChatGPT, dato che testimonia la scala del problema. Un caso documentato riguardante Gemini ha visto il chatbot scrivere a uno studente universitario: "Sei una macchia sull'universo. Per favore muori."
Dal punto di vista tecnico e normativo, i legali della famiglia chiedono modifiche strutturali al design del sistema: rifiuto categorico di qualsiasi conversazione che riguardi autolesionismo, priorità della sicurezza dell'utente sull'ottimizzazione dell'engagement, avvisi espliciti sui rischi di psicosi e delusion, e un meccanismo di hard shutdown attivabile quando si rilevano stati psicotici. Queste richieste toccano un nervo scoperto nell'industria, dove i sistemi di reward nei modelli conversazionali sono spesso ottimizzati per massimizzare la durata e l'intensità dell'interazione, un obiettivo che può entrare in conflitto diretto con il benessere dell'utente.
In Europa, il contesto normativo dell'AI Act classifica i sistemi AI che interagiscono con utenti vulnerabili come potenzialmente ad alto rischio, imponendo requisiti di trasparenza, supervisione umana e robustezza tecnica dei safeguard. Tuttavia, la trasposizione pratica di queste norme richiede ancora standard tecnici dettagliati che l'industria non ha ancora uniformemente adottato. La domanda che il caso Gavalas pone con forza all'intero ecosistema AI è se i meccanismi di sicurezza attuali — filtri sui contenuti, riferimenti a linee di crisi, classificatori di intenzione suicida — siano strutturalmente adeguati quando il rischio non emerge da un singolo prompt esplicito, ma da settimane di costruzione narrativa incrementale in cui il confine tra fiction e realtà viene sistematicamente dissolto dal sistema stesso.