I ricercatori hanno identificato due problemi principali nei sistemi di IA convenzionali: la dimenticanza catastrofica, ovvero la perdita della capacità di svolgere compiti precedentemente appresi dopo l'addestramento su nuovi dati, e la perdita di plasticità, cioè l'incapacità di continuare ad apprendere se addestrati sequenzialmente su più compiti.
Questi limiti impediscono ai modelli di linguaggio di grandi dimensioni (LLM) e ad altri sistemi di IA di migliorare le proprie prestazioni con l'uso e di acquisire nuove conoscenze da dataset aggiuntivi.
Il metodo proposto
Il team ha scoperto che reinizializzando i pesi associati ai nodi della rete neurale tra le sessioni di addestramento è possibile mantenere la plasticità del sistema. Questo approccio permette all'IA di continuare ad apprendere da nuovi dataset senza perdere le capacità acquisite in precedenza.
Nelle reti neurali artificiali, i pesi rappresentano la forza delle connessioni tra i nodi e determinano l'importanza delle informazioni trasmesse. Reinizializzandoli con gli stessi metodi usati per l'inizializzazione originale del sistema, si consente alla rete di adattarsi a nuovi compiti mantenendo la capacità di apprendimento.
Questa scoperta apre nuove possibilità per lo sviluppo di sistemi di IA in grado di apprendere continuamente ed evolversi nel tempo, superando i limiti attuali dei modelli pre-addestrati su dataset fissi.
La ricerca fornisce importanti spunti per migliorare la flessibilità e l'adattabilità dei sistemi di intelligenza artificiale, avvicinandoli maggiormente alle capacità di apprendimento continuo tipiche dell'intelligenza biologica.