Lo studio solleva preoccupazioni sulla validità di molte affermazioni entusiastiche riguardo alle capacità dell'apprendimento automatico in questo campo. I ricercatori hanno scoperto che in numerosi articoli scientifici vengono utilizzati metodi di confronto inadeguati, che tendono a sovrastimare le prestazioni dell'IA rispetto agli approcci numerici tradizionali.
"La nostra ricerca suggerisce che, sebbene l'apprendimento automatico abbia un grande potenziale, la letteratura attuale dipinge un quadro eccessivamente ottimistico di come funziona per risolvere questi particolari tipi di equazioni", ha dichiarato Ammar Hakim, vice capo della scienza computazionale del PPPL e investigatore principale della ricerca.
Problemi nei confronti e sottovalutazione dei risultati negativi
Il team ha analizzato sistematicamente 82 articoli scientifici che confrontavano metodi di apprendimento automatico con approcci numerici tradizionali per la risoluzione di PDE relative ai fluidi. Hanno scoperto che il 79% degli articoli che sostenevano la superiorità dell'apprendimento automatico utilizzava in realtà confronti deboli, violando almeno una delle due regole proposte dai ricercatori per confronti equi:
- Confrontare i metodi di apprendimento automatico solo con metodi numerici di uguale precisione o tempo di esecuzione
- Confrontare i metodi di apprendimento automatico con un metodo numerico efficiente
Inoltre, lo studio ha rilevato una tendenza a non pubblicare o sottovalutare i risultati negativi, creando un'impressione distorta delle reali capacità dell'apprendimento automatico in questo campo.
Nick McGreivy, autore principale dello studio, ha spiegato: "La nostra ricerca indica che potrebbero esserci alcuni casi in cui l'apprendimento automatico può essere leggermente più veloce per risolvere PDE relative ai fluidi, ma nella maggior parte dei casi i metodi numerici sono più veloci".
Incentivi distorti nella pubblicazione accademica
I ricercatori ritengono che il problema sia radicato negli incentivi distorti presenti nel sistema di pubblicazione accademica. La pressione per ottenere risultati impressionanti al fine di pubblicare può portare i ricercatori a concentrarsi sul miglioramento dei loro modelli di apprendimento automatico, trascurando il rafforzamento dei metodi di confronto tradizionali.
"Per far accettare un articolo, aiuta avere risultati impressionanti. Questo incentiva a far funzionare il proprio modello di apprendimento automatico il meglio possibile, il che è positivo. Tuttavia, si possono ottenere risultati impressionanti anche se il metodo di base con cui si confronta non funziona molto bene. Di conseguenza, non si è incentivati a migliorare la propria base di confronto, il che è negativo", ha spiegato McGreivy.
Necessità di cambiamenti culturali e linee guida più rigorose
Per affrontare questi problemi sistemici, i ricercatori suggeriscono che le agenzie di finanziamento della ricerca e le grandi conferenze dovrebbero adottare politiche per prevenire l'uso di confronti deboli o richiedere una descrizione più dettagliata del metodo di base utilizzato e delle ragioni della sua selezione.
Hakim ha sottolineato l'importanza di un approccio più critico: "Devono incoraggiare i loro ricercatori a essere scettici dei propri risultati. Se trovo risultati che sembrano troppo belli per essere veri, probabilmente lo sono".
Questo studio mette in luce la necessità di un approccio più rigoroso e trasparente nella valutazione delle capacità dell'apprendimento automatico nel campo delle equazioni differenziali parziali. Sottolinea l'importanza di confronti equi e della pubblicazione di risultati sia positivi che negativi per ottenere una comprensione accurata del potenziale e dei limiti di queste tecnologie emergenti.