Nel mondo dell'intelligenza artificiale, la corsa ai modelli più sofisticati si arricchisce di polemiche e strategie di marketing sempre più controverse. Meta ha recentemente lanciato due nuovi modelli della famiglia Llama 4, suscitando entusiasmo iniziale seguito da forti critiche. Il colosso di Menlo Park ha infatti presentato Scout, un modello compatto, e Maverick, un sistema di medie dimensioni che, secondo l'azienda, supererebbe i concorrenti GPT-4o di OpenAI e Gemini 2.0 Flash di Google "in un'ampia gamma di benchmark comunemente citati". L'annuncio, arrivato inaspettatamente durante un fine settimana, ha sollevato interrogativi sulla trasparenza nelle valutazioni comparative dei modelli AI e sulle strategie di posizionamento dei giganti tecnologici.
Dietro le quinte dei benchmark: quando i numeri ingannano
Maverick ha conquistato rapidamente il secondo posto su LMArena, piattaforma di riferimento dove utenti umani confrontano e votano i risultati prodotti da diversi sistemi di intelligenza artificiale. Meta ha messo in evidenza lo straordinario punteggio ELO di 1417 ottenuto dal modello, che lo posizionava sopra GPT-4o di OpenAI e appena sotto Gemini 2.5 Pro di Google. Un risultato che sembrava consacrare Llama 4 come serio competitor dei modelli proprietari di punta sviluppati dai colossi dell'AI.
La comunità di ricercatori, tuttavia, ha presto scoperto un'anomalia significativa. Analizzando attentamente la documentazione ufficiale, è emerso che la versione di Maverick testata su LMArena non corrispondeva a quella resa disponibile al pubblico. Meta aveva infatti utilizzato una "versione sperimentale" specificamente "ottimizzata per la conversazione", come riportato per primo da TechCrunch.
LMArena ha preso posizione con una dichiarazione su X: "L'interpretazione di Meta della nostra policy non corrispondeva a quanto ci aspettiamo dai fornitori di modelli. Meta avrebbe dovuto chiarire che 'Llama-4-Maverick-03-26-Experimental' era un modello personalizzato ottimizzato per la preferenza umana". La piattaforma ha quindi annunciato l'aggiornamento delle proprie regole per garantire valutazioni più eque e riproducibili.
La risposta di Meta e le perplessità della comunità
Ashley Gabriel, portavoce di Meta, ha difeso l'operato dell'azienda: "Sperimentiamo costantemente con varianti personalizzate. 'Llama-4-Maverick-03-26-Experimental' è una versione ottimizzata per la chat con cui abbiamo fatto esperimenti e che funziona bene anche su LMArena". Sebbene quanto fatto da Meta non violi esplicitamente le regole della piattaforma, solleva seri dubbi sull'affidabilità dei benchmark come indicatori delle prestazioni reali.
Simon Willison, ricercatore indipendente nel campo dell'AI, ha commentato: "È il benchmark generale più rispettato perché tutti gli altri sono inadeguati. Quando è uscito Llama 4, il fatto che fosse arrivato secondo nell'arena, subito dopo Gemini 2.5 Pro, mi aveva davvero colpito. Ora mi rimprovero di non aver letto le clausole scritte in piccolo".
Il lancio anomalo e le voci di corridoio
Oltre alla questione del benchmark, anche la tempistica del lancio ha destato perplessità. Il sabato non è generalmente il giorno scelto per annunci importanti nel settore tecnologico. Quando un utente su Threads ha chiesto spiegazioni, Mark Zuckerberg ha risposto semplicemente: "Era quando era pronto".
Secondo un recente articolo di The Information, il percorso di Meta verso il rilascio di Llama 4 non è stato lineare. L'azienda avrebbe ripetutamente posticipato il lancio perché il modello non soddisfaceva le aspettative interne. La pressione è aumentata dopo che DeepSeek, una startup cinese specializzata in AI open-source, ha rilasciato un modello che ha generato grande interesse nella comunità.
Circolavano anche voci secondo cui Meta avrebbe addestrato i suoi modelli Llama 4 per ottenere prestazioni migliori sui benchmark nascondendo i loro reali limiti. Ahmad Al-Dahle, vicepresidente dell'AI generativa di Meta, ha smentito: "Abbiamo sentito affermazioni secondo cui avremmo fatto training sui set di test - è semplicemente falso e non lo faremmo mai. Secondo la nostra migliore comprensione, la qualità variabile che le persone stanno riscontrando è dovuta alla necessità di stabilizzare le implementazioni".
Le implicazioni per sviluppatori e utenti
L'utilizzo di un modello ottimizzato per i benchmark pone gli sviluppatori in una posizione difficile. Quando selezionano modelli come Llama 4 per le loro applicazioni, si affidano naturalmente ai benchmark come guida. Ma come dimostra il caso Maverick, questi possono riflettere capacità non effettivamente disponibili nei modelli accessibili al pubblico.
Willison sottolinea: "È un rilascio molto confuso in generale. Il punteggio del modello che abbiamo ottenuto è completamente privo di valore per me. Non posso nemmeno utilizzare il modello che ha ottenuto un punteggio così alto".
Mentre lo sviluppo dell'intelligenza artificiale accelera, questo episodio evidenzia come i benchmark stiano diventando terreni di scontro competitivo. Dimostra anche quanto Meta sia desiderosa di essere percepita come leader nel settore dell'AI, anche a costo di manipolare il sistema di valutazione e compromettere la trasparenza tanto necessaria in un campo già complesso da decifrare per il pubblico non specializzato.