I ricercatori del MIT hanno sviluppato una nuova tecnica per valutare l'affidabilità dei modelli di fondazione, ovvero enormi modelli di deep learning pre-addestrati su grandi quantità di dati generici non etichettati. Questi modelli, che sono alla base di potenti strumenti di intelligenza artificiale come ChatGPT e DALL-E, possono talvolta fornire informazioni errate o fuorvianti, con potenziali gravi conseguenze in situazioni critiche per la sicurezza.
La tecnica sviluppata dai ricercatori del MIT e del MIT-IBM Watson AI Lab permette di stimare l'affidabilità dei modelli di fondazione prima che vengano utilizzati per compiti specifici. Il metodo consiste nell'addestrare un insieme di modelli leggermente diversi tra loro e poi valutare la coerenza delle rappresentazioni che ciascun modello apprende sugli stessi dati di test.
Se le rappresentazioni sono coerenti tra i vari modelli, significa che il modello è affidabile. Nei test effettuati, questa tecnica si è dimostrata migliore dei metodi di riferimento attuali nel catturare l'affidabilità dei modelli di fondazione su diversi compiti di classificazione.
Vantaggi della nuova tecnica
Questa tecnica offre diversi vantaggi:
- Permette di decidere se un modello può essere applicato in un determinato contesto senza doverlo testare su dati reali
- È utile quando i dataset non sono accessibili per motivi di privacy, come in ambito sanitario
- Consente di classificare i modelli in base a punteggi di affidabilità, permettendo di selezionare il migliore per un determinato compito
Come spiega il professor Navid Azizan, autore senior dello studio: "Il problema di quantificare l'incertezza o l'affidabilità diventa più difficile per questi modelli di fondazione perché le loro rappresentazioni astratte sono difficili da confrontare. Il nostro metodo permette di quantificare quanto sia affidabile un modello di rappresentazione per qualsiasi dato di input."
Come funziona il metodo
La tecnica si basa su un approccio di ensemble, addestrando diversi modelli simili ma leggermente diversi tra loro. L'idea è quella di "contare il consenso": se tutti i modelli forniscono rappresentazioni coerenti per un certo dato, si può considerare il modello affidabile.
Per confrontare le rappresentazioni astratte, i ricercatori hanno utilizzato il concetto di coerenza di vicinato. Preparano un set di punti di riferimento affidabili da testare sull'ensemble di modelli. Poi, per ciascun modello, esaminano i punti di riferimento vicini alla rappresentazione del punto di test di quel modello.
Osservando la coerenza dei punti vicini, possono stimare l'affidabilità dei modelli. Questo approccio permette di allineare le diverse "sfere" di rappresentazione dei vari modelli, rendendo comparabili le rappresentazioni.
Risultati e prospettive future
Nei test su una vasta gamma di compiti di classificazione, questo approccio si è dimostrato molto più coerente rispetto ai metodi di riferimento. Inoltre, non è stato ingannato da punti di test difficili che causavano il fallimento di altri metodi.
Un vantaggio importante è che questa tecnica può essere usata per valutare l'affidabilità per qualsiasi dato di input, permettendo di stimare quanto bene un modello funzioni per un particolare tipo di individuo o caso.
Una limitazione attuale è la necessità di addestrare un ensemble di grandi modelli di fondazione, che richiede notevoli risorse computazionali. In futuro, i ricercatori puntano a trovare modi più efficienti per costruire modelli multipli, magari utilizzando piccole perturbazioni di un singolo modello.
Questa ricerca apre nuove possibilità per migliorare l'affidabilità e la sicurezza dei potenti modelli di AI che stanno rivoluzionando molti settori. Valutare in modo rigoroso questi sistemi prima del loro impiego su larga scala sarà fondamentale per garantirne un utilizzo responsabile ed efficace.
L'argomento trattato riguarda i modelli di fondazione dell'intelligenza artificiale e una nuova tecnica per valutarne l'affidabilità. Questo campo di ricerca è relativamente recente ma affonda le sue radici nella lunga storia dell'intelligenza artificiale.
L'idea di creare macchine pensanti risale all'antichità, con miti come quello di Talos, il gigante di bronzo creato da Efesto. Tuttavia, è nel XX secolo che l'intelligenza artificiale inizia a prendere forma come disciplina scientifica. Un momento cruciale fu la Conferenza di Dartmouth del 1956, considerata l'atto di nascita dell'AI moderna.
Nei decenni successivi, l'intelligenza artificiale ha attraversato fasi alterne di entusiasmo e delusione, i cosiddetti "inverni dell'AI". È solo negli ultimi anni che si è assistito a progressi straordinari, grazie all'aumento della potenza di calcolo e alla disponibilità di enormi quantità di dati.
I modelli di fondazione rappresentano l'ultima frontiera di questa evoluzione. Questi sistemi, addestrati su quantità impressionanti di dati non etichettati, sono in grado di svolgere una vasta gamma di compiti senza essere specificamente programmati per ognuno di essi. È un cambiamento di paradigma rispetto ai sistemi AI precedenti, più specializzati.
Una curiosità interessante riguarda le dimensioni di questi modelli. Il più grande modello di linguaggio conosciuto, GPT-3, ha 175 miliardi di parametri. Per fare un paragone, si stima che il cervello umano abbia circa 86 miliardi di neuroni. Questo dà un'idea della complessità raggiunta da questi sistemi artificiali.
L'intelligenza artificiale è il nuovo elettricità, ha affermato Andrew Ng, uno dei pionieri del deep learning. Questa citazione sottolinea come l'AI stia diventando una tecnologia pervasiva, destinata a trasformare ogni settore della società.
Tuttavia, con grandi potenzialità vengono anche grandi responsabilità. La necessità di valutare l'affidabilità di questi modelli, come proposto dalla ricerca del MIT, è cruciale per garantire un utilizzo sicuro ed etico dell'intelligenza artificiale. Questa sfida ricorda in parte i dibattiti sulla sicurezza che accompagnarono lo sviluppo dell'energia nucleare nel secolo scorso.
In conclusione, i modelli di fondazione e le tecniche per valutarli rappresentano una nuova ed entusiasmante frontiera nella lunga storia dell'intelligenza artificiale, una storia che continua a evolversi rapidamente sotto i nostri occhi.
