Economic

Schimbarea de accent vine pe masura ce inferenta devine un nou camp de batalie in industria AI: Nvidia ramane liderul incontestabil la antrenarea modelelor mari, insa tot mai multe aplicatii comerciale pun presiune pe viteza si cost atunci cand milioane de utilizatori cer raspunsuri in timp real. Negocierile Nvidia-OpenAI, tot mai complicate Eforturile OpenAI de a diversifica hardware-ul pentru inferenta apar in timp ce cele doua companii discuta o investitie majora. In septembrie, Nvidia anuntase intentia de a investi pana la 100 de miliarde de dolari in OpenAI, intr-o tranzactie care ar fi oferit producatorului de cipuri o participatie, iar OpenAI finantarea necesara pentru a cumpara hardware avansat. Tranzactia era asteptata sa se inchida rapid, insa negocierile s-au prelungit cu luni. Intre timp, OpenAI a incheiat acorduri cu AMD si alti furnizori pentru unitati GPU menite sa concureze cu oferta Nvidia, iar schimbarile din "foaia de parcurs" a produselor OpenAI au modificat tipul de resurse de calcul necesare, un factor care, potrivit unei surse, a ingreunat discutiile cu Nvidia. Sambata, directorul executiv al Nvidia, Jensen Huang, a respins ideea unor tensiuni cu OpenAI, catalogand-o drept "nonsens" si insistand ca Nvidia planuieste o investitie substantiala in companie. Nvidia a transmis, intr-un comunicat, ca "clientii continua sa aleaga NVIDIA pentru inferenta" datorita performantei si costului total de utilizare la scara mare. Separat, OpenAI a spus ca se bazeaza pe Nvidia pentru "marea majoritate" a flotei sale de inferenta si ca solutiile Nvidia ofera cel mai bun raport performanta/dolar pentru aceasta etapa. De ce conteaza "inferenta" si unde acuza OpenAI intarzieri Potrivit surselor Reuters, OpenAI nu este multumita de viteza cu care unele configuratii Nvidia pot "servi" raspunsuri pentru anumite tipuri de solicitari - in special in zone precum dezvoltarea software si integrarea AI cu alte aplicatii. Compania ar urmari ca viitorul hardware alternativ sa acopere, in timp, aproximativ 10% din necesarul sau de calcul pentru inferenta. Tema ar fi devenit vizibila intern in Codex, produsul OpenAI pentru generarea de cod, pe care compania il promoveaza agresiv. Unele echipe ar fi pus parte din "slabiciuni" pe seama limitarilor hardware bazat pe GPU in anumite scenarii. Pe 30 ianuarie, CEO-ul OpenAI, Sam Altman, a subliniat ca utilizatorii modelelor de programare "pun un mare premium pe viteza" pentru munca de coding - o presiune diferita fata de utilizarea casual a chatbot-ului. Miza tehnica: mai multa memorie "pe cip" (SRAM) Cautarea OpenAI s-a concentrat pe companii care dezvolta cipuri cu cantitati mari de memorie integrate direct in aceeasi bucata de siliciu (SRAM), ceea ce poate accelera raspunsurile pentru chatboti si sisteme AI care proceseaza simultan un volum urias de cereri. Sursele citate explica diferenta astfel: la inferenta, cipul petrece relativ mai mult timp accesand date din memorie decat facand operatii matematice. GPU-urile Nvidia (si multe solutii similare) se bazeaza pe memorie externa, ceea ce poate adauga latenta si reduce "snappiness"-ul resimtit de utilizatori. Cerebras si Groq, pe radar - iar Nvidia se misca rapid OpenAI ar fi discutat colaborari cu start-up-uri precum Cerebras si Groq pentru inferenta mai rapida. Insa, potrivit uneia dintre surse, discutiile cu Groq au fost stopate dupa ce Nvidia a semnat un acord de licentiere evaluat la 20 de miliarde de dolari pentru tehnologia Groq. In paralel, pe masura ce OpenAI isi facea cunoscute rezervele, Nvidia ar fi abordat companii care lucreaza la cipuri "SRAM-heavy", inclusiv Cerebras si Groq, privind o posibila achizitie. Cerebras ar fi refuzat si a anuntat luna trecuta un acord comercial cu OpenAI. Concurenta impinge piata spre solutii dedicate Rivali precum Anthropic (cu Claude) si Google (cu Gemini) beneficiaza de implementari care folosesc mai intens cipuri dezvoltate intern (TPU), proiectate special pentru calculele de inferenta, ceea ce poate oferi avantaje fata de cipurile mai generaliste.