Oggi esistono dozzine di chatbot basati su modelli di linguaggio di grandi dimensioni (LLM) dedicati alla cura della salute mentale, affrontando problemi che spaziano dalla solitudine tra gli anziani all'ansia e depressione negli adolescenti.
Tuttavia, l'efficacia di queste app è ancora incerta. Ancora più incerta è la loro capacità di supportare gruppi specifici e marginalizzati come le comunità LGBTQ+. Un team di ricercatori della Harvard John A. Paulson School of Engineering and Applied Sciences, in collaborazione con le università di Emory, Vanderbilt e California Irvine, ha scoperto che, nonostante i modelli di linguaggio di grandi dimensioni possano offrire supporto rapido e su richiesta, spesso non riescono a comprendere le sfide specifiche affrontate dai membri della comunità LGBTQ+.
Questa mancanza di comprensione potrebbe portare il chatbot a fornire consigli poco utili o, nel peggiore dei casi, dannosi. Il paper verrà presentato questa settimana alla conferenza dell'ACM (Association of Computing Machinery) sui Fattori Umani nei Sistemi di Calcolo a Honolulu, Hawaiʻi.
I ricercatori hanno intervistato 31 partecipanti, di cui 18 identificati come LGBTQ+ e 13 come non-LGBTQ+, sulla loro esperienza con i chatbot basati su LLM per il supporto alla salute mentale e su come questi abbiano risposto alle loro esigenze individuali.
Da un lato, molti partecipanti hanno riportato che i chatbot offrivano un senso di solidarietà e uno spazio sicuro per esplorare ed esprimere le proprie identità. Alcuni hanno utilizzato i chatbot per fare pratica nel fare coming out con amici e familiari, altri per esercitarsi a chiedere un appuntamento per la prima volta.
Tuttavia, molti partecipanti hanno anche evidenziato le carenze dei programmi. Un partecipante ha scritto: "Non ricordo una volta in cui mi abbia dato una soluzione. Era solo empatica. Oppure, se dicevo che ero arrabbiato con qualcuno per essere omofobico, suggeriva magari di parlarne con quella persona. Ma la maggior parte delle volte era solo come: 'Mi dispiace che ti sia successo'."
Zilin Ma, dottorando presso SEAS e co-autore del paper, ha affermato: "La natura standardizzata delle risposte dei chatbot mette in evidenza il loro fallimento nel riconoscere le identità e le esperienze LGBTQ+ complesse e sfumate, facendo percepire le loro risposte come emotivamente distaccate." Secondo Ma, poiché questi chatbot tendono ad essere compiacenti, risultano in realtà molto cattivi nel simulare ostilità, rendendoli inadeguati per praticare conversazioni potenzialmente difficili come il coming out.
Alcuni partecipanti hanno ricevuto consigli fallimentari, come suggerire a una persona di lasciare il proprio lavoro dopo aver subito omofobia sul posto di lavoro, senza considerare le conseguenze finanziarie o personali.
Ma, che lavora nel laboratorio di Krzysztof Gajos, professore di informatica, ha sottolineato che, sebbene ci siano modi per migliorare questi programmi, non sono una panacea. "Ci sono modi per migliorare queste limitazioni perfezionando i LLM per contesti rilevanti agli utenti LGBTQ+ o implementando barriere sensibili al contesto o cicli di feedback aggiornati regolarmente, ma ci chiediamo se questa tendenza a implementare la tecnologia in ogni aspetto del problema sociale sia l'approccio giusto," ha detto Ma.
"Possiamo ottimizzare tutti i LLM quanto vogliamo, ma ci sono aspetti della salute mentale LGBTQ+ che non possono essere risolti con i chatbot LLM, come la discriminazione, il bullismo, lo stress del coming out o la mancanza di rappresentanza. Per questo, abbiamo bisogno di un sistema di supporto olistico per le persone LGBTQ+."
Un'area in cui i chatbot LLM potrebbero essere utili è nella formazione di consulenti umani o moderatori di comunità online. "Piuttosto che far parlare direttamente gli adolescenti in crisi con il chatbot, potresti usare il chatbot per formare i consulenti," ha detto Ma. "Così avresti un vero umano con cui parlare, ma forniresti ai consulenti il supporto della tecnologia, una soluzione socio-tecnica che penso funzioni bene in questo caso."
"La ricerca in salute pubblica suggerisce che gli interventi che mirano direttamente agli individui colpiti, come i chatbot per migliorare il benessere individuale, rischiano di lasciare indietro le persone più vulnerabili," ha detto Gajos. "È più difficile ma potenzialmente più impattante cambiare le comunità attraverso la formazione di consulenti o moderatori di comunità online."
