Rendere open-source i modelli di linguaggio di grandi dimensioni (LLM) non è un compito facile; lo sa bene la Open Source Initiative (OSI), che lavora su una definizione open-source compatibile con l'IA da quasi due anni. Alcune aziende, come Meta, affermano di aver reso open-source i loro LLM, ma non è così. Ora, IBM ha realmente compiuto questo passo.
IBM è riuscita ad aprire il codice di Granite utilizzando dati di pre-addestramento provenienti da set di dati pubblicamente disponibili, come GitHub Code Clean, Starcoder data, repository pubblici di codice e problemi di GitHub. In breve, IBM ha fatto di tutto per evitare problemi di copyright o legali. I modelli di Granite sono stati addestrati su token di dati di codice e dataset di linguaggio naturale correlati al codice, che variano da 3 a 4 terabyte.
Tutti questi modelli sono concessi in licenza sotto la licenza Apache 2.0 per usi di ricerca e commerciali. Proprio quest'ultima parola, "commerciale", ha impedito agli altri grandi LLM di diventare open-source. Nessuno voleva condividere i propri "tesori" di LLM. Ma, come ha detto il capo scienziato della ricerca di IBM, Ruchir Puri, "stiamo trasformando il panorama dell'IA generativa per il software rilasciando i modelli di codice LLM più performanti e cost-efficient, permettendo alla comunità open di innovare senza restrizioni".
Senza restrizioni, forse, ma non senza applicazioni specifiche in mente. Come ha spiegato Kate Woolley, direttrice generale dell'ecosistema IBM, i modelli Granite non sono "pensati per essere tutto per tutti. Non si tratta di scrivere poesie sul proprio cane. Sono modelli curati che possono essere sintonizzati e mirano a casi d'uso aziendali specifici. In particolare, sono pensati per la programmazione".
Questi modelli decoder-only, addestrati su codice derivante da 116 linguaggi di programmazione, variano da 3 a 34 miliardi di parametri. Supportano molteplici utilizzi per gli sviluppatori, dalla modernizzazione di applicazioni complesse a compiti che richiedono memoria limitata sui dispositivi.
IBM ha già utilizzato questi LLM internamente nei prodotti IBM Watsonx Code Assistant (WCA), come WCA per Ansible Lightspeed per l'automazione IT e WCA per IBM Z per modernizzare le applicazioni COBOL. Non tutti possono permettersi Watsonx, ma ora chiunque può lavorare con i modelli Granite utilizzando InstructLab di IBM e Red Hat.
Come ha detto Ashesh Badani, SVP e chief product officer di Red Hat, InstructLab "abbasserà molte delle barriere che impediscono l'utilizzo di GenAI nel cloud ibrido, dalle limitate competenze di data science alle risorse necessarie". L'obiettivo è abbassare la soglia di ingresso per gli sviluppatori che vogliono usare LLM.
Quanto bassa? Come ha detto Matt Hicks al Red Hat Summit, "Capacità che, solo un anno fa, erano legate a hardware di fascia alta ed esotici, ora possono funzionare su un laptop. Tecniche di addestramento che una volta costavano centinaia di milioni di dollari ora sono replicate per poche migliaia".
Ad esempio, oltre a InstructLab, è possibile utilizzare Ollma per eseguire LLM localmente. Come spiega Bala Priya C in KDnuggets, "Con Ollama, tutto ciò di cui hai bisogno per eseguire un LLM -- pesi dei modelli e tutta la configurazione -- è confezionato in un singolo Modelfile. Pensa a Docker per LLM". I modelli sono disponibili su piattaforme come Hugging Face, GitHub, Watsonx.ai e Red Hat Enterprise Linux (RHEL) AI.
IBM prevede che i programmatori, oltre a scrivere codice con i modelli Granite, risparmieranno tempo ed energia utilizzandoli per creare test e trovare e correggere bug. "Molte delle attività quotidiane ma essenziali che fanno parte della giornata di uno sviluppatore -- dalla generazione di test unitari alla scrittura di documentazione o esecuzione di test di vulnerabilità -- potrebbero essere automatizzate con questi modelli.
Oltre ad aiutare gli sviluppatori, IBM vede vantaggi commerciali nei modelli Granite perché, diversamente da molti altri, la loro licenza è chiara, così come lo è il modo in cui i modelli sono stati addestrati. Inoltre, i dati sono stati ripuliti e filtrati per rimuovere odio, abusi e linguaggi volgari.
Quindi, se la tua azienda ha esitato a esplorare l'utilizzo dell'IA per sviluppare programmi per motivi legali, IBM ha appena fornito gli strumenti open-source di cui hai bisogno per migliorare il tuo lavoro di sviluppo software. Provali. Alcuni di voi costruiranno grandi cose a partire da questi blocchi di Granite.
