Gli algoritmi di ottimizzazione svolgono un ruolo fondamentale nell'apprendimento automatico e nell'intelligenza artificiale (AI) in generale. Per lungo tempo si è creduto che la progettazione e la configurazione degli algoritmi di ottimizzazione fossero compiti che dipendevano fortemente dall'intelligenza umana e richiedessero una progettazione personalizzata per problemi specifici.
Tuttavia, con la crescente richiesta di AI e l'emergere di nuovi problemi complessi, il paradigma della progettazione manuale sta affrontando sfide significative. Se le macchine potessero progettare algoritmi di ottimizzazione in modo automatico o semi-automatico, ciò non solo allevierebbe queste sfide, ma espanderebbe anche notevolmente gli orizzonti dell'AI. Negli ultimi anni, i ricercatori hanno esplorato modi per automatizzare il processo di configurazione e progettazione degli algoritmi apprendendo da un insieme di istanze di problemi di addestramento. Questi sforzi, denominati Learn to Optimize (L2O), utilizzano un gran numero di istanze di problemi di ottimizzazione come input e tentano di addestrare algoritmi di ottimizzazione all'interno di uno spazio di configurazione (o persino di codice) con capacità di generalizzazione.
I risultati in campi come SAT, apprendimento automatico, visione artificiale e generazione di esempi avversari hanno dimostrato che gli algoritmi di ottimizzazione progettati automaticamente o semi-automaticamente possono esibirsi comparabilmente o perfino superare quelli progettati manualmente. Questo suggerisce che il campo della progettazione degli algoritmi di ottimizzazione potrebbe aver raggiunto l'alba di "macchine che sostituiscono l'uomo".
L'articolo esamina tre principali approcci per L2O: modelli di previsione delle prestazioni di addestramento, addestramento di un singolo risolutore e addestramento di un portafoglio di risolutori. Discute inoltre le garanzie teoriche per il processo di formazione, casi di applicazione di successo e le questioni di generalizzazione di L2O. Infine, l'articolo indica direzioni di ricerca promettenti per il futuro.
L2O è previsto crescere e diventare una tecnologia critica che allevia il carico di lavoro umano sempre più oneroso nell'AI, secondo Tang. Tuttavia, egli sottolinea che garantire una generalizzazione ragionevole rimane una sfida per L2O, specialmente quando si affrontano classi di problemi e classi di risolutori complessi.
"Un secondo stadio di perfezionamento potrebbe essere necessario in molti scenari reali", suggerisce Tang. "I risolutori appresi potrebbero essere visti come modelli di base per ulteriori perfezionamenti." Egli ritiene che costruire una sinergia tra l'addestramento e il perfezionamento dei modelli di base sarebbe una direzione critica per sfruttare pienamente il potenziale di L2O nello sviluppo futuro.
