DeepMind ha sviluppato una nuova tecnica chiamata "Streaming DiLoCo" che riduce drasticamente la larghezza di banda necessaria per l'addestramento dei modelli di intelligenza artificiale. Questa innovazione permette di distribuire l'addestramento su nodi distanti, senza richiedere connessioni a bassa latenza, migliorando l'efficienza della comunicazione durante il processo.
La tecnologia Streaming DiLoCo rappresenta un importante passo avanti nell'ottimizzazione dell'addestramento dei modelli di IA. Sincronizzando piccoli gruppi di parametri anziché trasferirli tutti insieme, permette ai computer di continuare l'addestramento mentre condividono le informazioni. Inoltre, i dati vengono compressi utilizzando una precisione più bassa (4-bit) senza compromettere la qualità del modello finale.
Questa innovazione potrebbe rivoluzionare l'approccio all'addestramento dei modelli di IA, facilitando la distribuzione su reti di computer sparse e riducendo la necessità di infrastrutture centralizzate. Il metodo si è dimostrato altamente efficiente, riducendo drasticamente le necessità di comunicazione ad alta larghezza di banda.
Tuttavia, questa decentralizzazione pone nuove sfide dal punto di vista della regolamentazione. La frammentazione dei processi potrebbe rendere più complesso per governi e organizzazioni monitorare e regolare l'addestramento di sistemi di IA su larga scala. In futuro, potremmo assistere all'addestramento di modelli attraverso reti globali di computer con comunicazione intermittente e ottimizzata, complicando ulteriormente le strategie di sorveglianza tradizionali.
È importante sottolineare che non si tratta di un sistema "invisibile" o totalmente sfuggente al controllo, ma di un nuovo paradigma che richiederà lo sviluppo di strumenti e approcci di monitoraggio adattati alla natura distribuita di questa tecnologia. La comunità scientifica e le autorità di regolamentazione dovranno collaborare per affrontare queste nuove sfide e garantire un utilizzo responsabile di questa promettente innovazione nel campo dell'intelligenza artificiale.