Le nuove GPU rappresentano un importante passo avanti per appassionati di AI, giocatori, creativi e sviluppatori. Per sfruttare appieno queste capacità, NVIDIA ha presentato al CES i microservizi NIM e gli AI Blueprints per RTX, strumenti che semplificano lo sviluppo di applicazioni AI su PC Windows equipaggiati con GPU RTX.
NVIDIA NIM: accelerazione dell'AI generativa su PC
I microservizi NVIDIA NIM forniscono accesso a modelli AI sviluppati dalla community e da NVIDIA, facilitando l'implementazione dell'intelligenza artificiale su PC. Questi microservizi sono facili da scaricare e utilizzare tramite API standard, e coprono le principali modalità essenziali per i PC con AI.NIM include tutto il necessario per eseguire modelli ottimizzati su PC con GPU RTX, come motori precompilati per GPU specifiche, il kit di sviluppo NVIDIA TensorRT e la libreria open-source TensorRT-LLM per l'inferenza accelerata.
Tensor Core di quinta generazione per prestazioni AI di nuova generazione
Le GPU GeForce RTX desktop offrono fino a 3.352 AI TOPS per velocità ed efficienza senza precedenti nei flussi di lavoro basati sull'intelligenza artificiale. I Tensor Core di quinta generazione nell'architettura Blackwell consentono di gestire carichi di lavoro AI ancora più impegnativi ed eseguire simultaneamente più modelli AI.Ciò si traduce in esperienze AI più veloci, dal rendering in tempo reale agli assistenti intelligenti, aprendo la strada a maggiori innovazioni nel gaming, nella creazione di contenuti e non solo.
FP4: modelli più piccoli, prestazioni maggiori
L'architettura Blackwell supporta nativamente il formato di quantizzazione FP4, che riduce le dimensioni dei modelli AI fino al 60% e più che raddoppia le prestazioni rispetto al formato FP16, con un degrado minimo della qualità.Ad esempio, il modello FLUX.1 [dev] di Black Forest Labs richiede oltre 23GB di VRAM in FP16, mentre con FP4 ne servono meno di 10GB, permettendone l'esecuzione locale su un maggior numero di GPU GeForce RTX.
AI Blueprints per flussi di lavoro AI avanzati su PC RTX
Gli NVIDIA AI Blueprints, basati sui microservizi NIM, forniscono implementazioni di riferimento preconfezionate e ottimizzate che semplificano lo sviluppo di progetti AI avanzati, come esseri umani digitali, generatori di podcast o assistenti per applicazioni.Al CES, NVIDIA ha dimostrato PDF to Podcast, un blueprint che permette di convertire un PDF in un podcast interattivo, integrando sette diversi modelli AI che lavorano in sincronia per offrire un'esperienza dinamica e interattiva.
Disponibilità di NIM e AI Blueprints
I microservizi NIM e gli AI Blueprints saranno presto disponibili, con supporto iniziale per le GPU GeForce RTX serie 50, GeForce RTX 4090 e 4080, e NVIDIA RTX 6000 e 5000 professionali. In futuro verranno supportate ulteriori GPU.Grazie a questi strumenti, gli ultimi progressi dell'AI non saranno più limitati al cloud, ma ottimizzati per i PC RTX. Con le GPU RTX, sviluppatori e appassionati potranno sperimentare, costruire e distribuire localmente applicazioni AI direttamente dai loro PC e workstation.