Il metodo RESQUE (REpresentation Shift QUantifying Estimator) consente di stimare le risorse necessarie per adattare un modello AI esistente a nuovi compiti o dati, fornendo previsioni accurate su tempi, energia e emissioni di carbonio. Questa innovazione è cruciale per rendere più sostenibile lo sviluppo dell'intelligenza artificiale.
"Se vogliamo affrontare i problemi di sostenibilità legati all'AI basata sul deep learning, dobbiamo considerare i costi computazionali ed energetici durante l'intero ciclo di vita di un modello, inclusi gli aggiornamenti", spiega Jung-Eun Kim, autrice corrispondente dello studio e professoressa di informatica alla North Carolina State University.
Come funziona RESQUE
RESQUE confronta il dataset su cui un modello è stato inizialmente addestrato con il nuovo dataset che verrà utilizzato per l'aggiornamento. In base a questo confronto, stima i costi computazionali ed energetici necessari, fornendo un indice unico che può essere confrontato con cinque metriche:
- Epoche di addestramento
- Variazione dei parametri
- Norma del gradiente
- Consumo energetico in kilowattora
- Emissioni di carbonio in chilogrammi
"Abbiamo scoperto che le previsioni di RESQUE si allineano molto bene con i costi reali degli aggiornamenti dei modelli di deep learning", afferma Kim. "Inoltre, tutti i nostri risultati sperimentali ci dicono che addestrare un nuovo modello da zero richiede molta più potenza di calcolo ed energia rispetto al riaddestramento di un modello esistente."
Implicazioni per la sostenibilità dell'AI
Questa ricerca offre una comprensione più approfondita dei costi associati ai modelli di deep learning durante il loro intero ciclo di vita. Ciò può aiutare a prendere decisioni informate sulla sostenibilità dei modelli e sul loro utilizzo.
"Nel breve termine, RESQUE è una metodologia utile per chiunque debba aggiornare un modello di deep learning", spiega Kim. "Può essere utilizzato per aiutare gli utenti a pianificare le risorse computazionali per gli aggiornamenti, consentendo loro di prevedere quanto tempo richiederà l'operazione."
Nel lungo periodo, questa innovazione potrebbe contribuire a rendere lo sviluppo dell'intelligenza artificiale più sostenibile dal punto di vista ambientale, ottimizzando l'utilizzo di risorse computazionali ed energetiche.
Lo studio dimostra l'importanza di considerare non solo l'efficienza dell'addestramento iniziale dei modelli AI, ma anche i costi legati ai successivi aggiornamenti. Questo approccio olistico è fondamentale per affrontare le sfide di sostenibilità poste dalla crescente diffusione dell'intelligenza artificiale.