Google recicleaza memoria din servere vechi pentru AI. DDR4 revine in centrele de date din cauza deficitului de DRAM

Google recupereaza module DDR4 din servere retrase si le reutilizeaza in infrastructura pentru inteligenta artificiala. Compania recurge la aceasta solutie pe fondul deficitului de memorie pentru centrele de date.

Informatia a fost prezentata de Nikhil Cherian, director senior pentru infrastructura lantului de aprovizionare la Google Cloud. El a explicat ca industria AI a trecut de la o perioada dominata de lipsa puterii de calcul la una in care memoria reprezinta principala limitare.

Memoria a devenit o problema majora pentru AI

Potrivit lui Cherian, memoria de inalta performanta reprezinta acum peste 75% din costul componentelor unui server AI. Cererea este alimentata de modelele multimodale, arhitecturile de tip Mixture-of-Experts si aplicatiile AI cu agenti.

Google incearca sa reduca presiunea asupra memoriei prin solutii hardware si software. Compania optimizeaza bibliotecile de functii, arhitectura modelelor si compresia KV Cache.

In paralel, Google a inceput sa recupereze componente din serverele scoase din uz. Strategia include module DDR4 care pot fi reutilizate in infrastructura mai noua.

Adaptoare speciale pentru memoria DDR4

DDR4 nu poate fi conectata in mod direct la platformele moderne proiectate pentru generatii mai noi de memorie. Google a dezvoltat, de aceea, adaptoare hardware care permit integrarea modulelor recuperate.

Astfel, compania poate scoate memoria din servere retrase si o poate introduce in sisteme AI mai noi. Practica face parte dintr-o strategie interna de reciclare a componentelor.

Google avea deja un sistem pentru recuperarea componentelor din echipamentele de centre de date. Compania spune ca, in 2024, a recuperat aproximativ 8,8 milioane de componente din hardware dezafectat.

Noua utilizare a modulelor DDR4 arata insa cat de mare a devenit presiunea asupra pietei de memorie.

Google incearca sa reduca si consumul de memorie

Reciclarea modulelor nu este singura masura luata de companie. Google lucreaza si la reducerea cantitatii de memorie necesare pentru sarcinile AI.

Optimizarea modelelor si comprimarea KV Cache pot diminua necesarul de memorie pentru anumite operatiuni. Aceste masuri sunt importante deoarece acceleratoarele AI pot ramane neutilizate daca nu au suficienta memorie sau latime de banda.

TPU 8i foloseste memorie HBM3e

Google dezvolta in paralel procesoare specializate pentru diferite sarcini AI. Compania a prezentat TPU 8i pentru inferenta si TPU 8t pentru antrenarea modelelor.

TPU 8i este proiectat pentru sarcini care necesita latenta redusa. Fiecare cip integreaza 288 GB de memorie HBM3e si ofera o latime de banda de pana la 8,6 TB/s, potrivit informatiilor prezentate de Google.

Sistemul include si 384 MB de SRAM integrata. Aceasta poate pastra date active, inclusiv elemente din KV Cache, fara accesarea memoriei externe.

Pentru sarcinile de la nivelul serverului, Google foloseste procesoare Axion bazate pe arhitectura Arm. Acestea utilizeaza memorie DDR5.

DDR4 primeste astfel o noua viata

Faptul ca Google recupereaza DDR4 din servere retrase reprezinta un semnal al presiunii existente pe piata DRAM.

Compania nu renunta la memoria moderna, dar incearca sa foloseasca toate resursele disponibile. Reutilizarea modulelor vechi poate reduce atat necesarul de achizitii, cat si cantitatea de hardware care ajunge la casare.

Google nu este singurul gigant din domeniul tehnologiei care exploreaza aceasta abordare. Meta a dezvoltat propria solutie pentru reutilizarea memoriei DDR4 in servere moderne prin intermediul tehnologiei CXL.

Fenomenul arata ca explozia infrastructurii AI schimba inclusiv modul in care companiile isi gestioneaza memoria existenta. DDR4, o tehnologie considerata veche in raport cu DDR5, poate primi astfel un nou rol in centrele de date.

Articolul Google recicleaza memoria din servere vechi pentru AI. DDR4 revine in centrele de date din cauza deficitului de DRAM apare prima data in Go4IT.

Accesorii

Google recicleaza memoria din servere vechi pentru AI. DDR4 revine in centrele de date din cauza deficitului de DRAM

Articole asemanatoare