Un nuovo studio ha evidenziato un importante limite dei grandi modelli di linguaggio come GPT-4, noto come "problema di Tom Cruise". I ricercatori hanno scoperto che questi sistemi di intelligenza artificiale faticano a inferire relazioni simmetriche tra fatti, mostrando una comprensione superficiale delle informazioni che elaborano.
Questo fenomeno, denominato "Reversal Curse" (Maledizione della Reversibilità), mette in luce le attuali limitazioni dell'IA nel ragionamento genuino. I modelli riescono a rispondere correttamente a domande come "Chi è la madre di Tom Cruise?", ma falliscono con quelle inverse come "Chi è il figlio di Mary Lee Pfeiffer?", nonostante contengano le stesse informazioni.
Lo studio ha testato 1.000 coppie di domande su celebrità e genitori, rivelando che il problema non è limitato a scenari semplificati ma riguarda la struttura stessa dei dati di addestramento. I ricercatori ipotizzano che ci siano meno esempi di relazioni in cui il genitore precede la celebrità.
Le ragioni del problema
Gli esperti ritengono che i modelli di linguaggio non comprendano realmente le relazioni tra i fatti, ma si limitino ad associare token (parole o frasi) senza una vera comprensione del significato. Ad esempio, "madre di Tom Cruise" viene associato a "Mary Lee Pfeiffer", ma non il contrario.
Questa asimmetria si riflette in parte anche nel comportamento umano: sebbene il nostro ragionamento sia simmetrico, il richiamo delle informazioni può essere asimmetrico. È più facile ricordare fatti su celebrità che informazioni meno note.
Le limitazioni emerse sollevano dubbi sulla possibilità di raggiungere presto un'intelligenza artificiale generale (AGI). Gary Marcus, esperto del settore, ha sottolineato come questi modelli fatichino anche con problemi che richiedono un ragionamento più complesso.
Nel 2021, la linguista Emily Bender e l'informatica Timnit Gebru hanno definito i modelli linguistici come "pappagalli stocastici" che "cuciono casualmente sequenze di forme linguistiche dai dati di addestramento, basandosi su informazioni probabilistiche su come si combinano, senza riferirsi al significato".
Questa ricerca evidenzia la necessità di sviluppare approcci più sofisticati per dotare l'IA di una comprensione più profonda e simmetrica delle informazioni, superando la mera associazione statistica di parole e frasi.
