Telefoane

Un experiment recent arata ca iPhone 17 Pro poate rula local un model de inteligenta artificiala de dimensiuni extreme, de ordinul a 400 de miliarde de parametri.

Rezultatul este impresionant din punct de vedere tehnic, dar departe de a fi practic in utilizarea zilnica.

- Anemll (@anemll) March 23, 2026

In mod normal, un model de acest tip necesita peste 200 GB de memorie RAM, mult peste capacitatea unui smartphone. Solutia folosita in acest caz evita incarcarea completa a modelului in memorie.

Sistemul utilizeaza o arhitectura de tip "Mixture of Experts", care activeaza doar o mica parte din model la un moment dat. Restul datelor sunt incarcate din stocare, in functie de necesitati.

Aceasta abordare permite rularea modelului pe hardware limitat, dar vine cu compromisuri evidente.

Viteza de generare este foarte scazuta, de aproximativ 0,6 tokeni pe secunda. In termeni simpli, utilizatorul trebuie sa astepte cateva secunde pentru fiecare cuvant generat.

Un astfel de ritm face dificila utilizarea reala a modelului, chiar si pentru sarcini simple. In plus, consumul de energie este ridicat, ceea ce afecteaza autonomia dispozitivului.

Desi performanta nu este suficienta pentru utilizare practica, demonstratia arata ca rularea locala a modelelor AI foarte mari devine posibila, chiar si pe dispozitive mobile.

Pana recent, astfel de sarcini erau asociate exclusiv cu servere si infrastructuri cloud.

In prezent, modelele AI compacte sunt cele utilizate in mod real pe smartphone-uri, oferind un echilibru intre performanta si consum de resurse.

Experimentul evidentiaza insa o tendinta clara: pe masura ce hardware-ul evolueaza, tot mai multe procese vor putea fi mutate local, reducand dependenta de cloud si crescand nivelul de confidentialitate.

Articolul iPhone 17 Pro ruleaza, local, un model AI de 400 de miliarde de parametri apare prima data in Go4IT.