OpenAI dubita dell'efficacia degli acceleratori Nvidia per l'inferenza e cerca attivamente un loro sostituto

Cosa sta accadendo nel mondo delle tecnologie AI
Punto Breve Principali attori OpenAI e Nvidia sono considerati leader del mercato dell'intelligenza artificiale, ma stanno cercando nuovi partner. Presto si concluderà un accordo di 100 mila dollari tra queste aziende. Problema con gli acceleratori Nvidia I chip Nvidia attuali non sempre offrono le prestazioni necessarie per l'inferenza (l'uso di modelli già addestrati). OpenAI cerca un'alternativa.

Come vengono sviluppate nuove soluzioni
1. OpenAI → Cerebras + Groq

- L'azienda vuole sostituire fino al 10 % dei suoi acceleratori con chip di fornitori terzi, più adatti all'inferenza.

- La partnership con Cerebras è già stata stipulata: OpenAI acquisterà i loro “acceleratori imperiali”, eccellenti nel trattamento di grandi modelli linguistici.

2. Groq e Nvidia

- Lo scorso anno Nvidia ha acquisito Groq per 20 mila dollari, offrendo una struttura di accordo più vantaggiosa.

- Dopo l'acquisizione Groq ha perso parte della sua autonomia: la maggior parte degli sviluppatori di acceleratori è passata al personale di Nvidia, e il resto dell'azienda può ora vendere solo software per sistemi cloud.

3. AMD e altre opzioni

- OpenAI rimane ancora fortemente dipendente dagli acceleratori Nvidia e AMD, che utilizzano memoria esterna HBM.

- Per l'inferenza sono più adatti chip con ampio volume di memoria integrata – proprio quelli offerti da Groq, Cerebras e Google.

Perché tutto ciò è importante
- L'efficienza dell'inferenza è cruciale per il funzionamento dei grandi modelli linguistici (ChatGPT, Codex).

- Il problema in Codex: durante lo sviluppo di un agente AI Codex OpenAI ha riscontrato l'inefficienza degli acceleratori Nvidia. Ciò sottolinea la necessità di cambiare piattaforma hardware.

- L'alternativa futura: OpenAI prevede di utilizzare soluzioni Cerebras e, possibilmente, altri chip per aumentare le prestazioni dei suoi strumenti per sviluppatori.

Conclusioni
OpenAI cerca attivamente nuovi partner tecnologici per non dipendere completamente da Nvidia. Parallelamente l'azienda sta elaborando una strategia di investimento in startup (Cerebras, Groq) e valuta grandi accordi con Nvidia e potenziali investimenti fino a 100 mila dollari. Ciò aiuterà a migliorare l'inferenza e ad accelerare lo sviluppo dei prodotti AI.