Business international

La doar cateva zile dupa lansarea unui nou model extrem de performant, Jakub Pachocki, seful departamentului de stiinta si cercetare al OpenAI cere o incetinire a ritmului de dezvoltare al inteligentei artificiale, scrie Business Insider.

"Nu cred ca cineva e pregatit pentru consecintele unei cresteri rapide si continue a inteligentei masinilor", a scris Jakub Pachocki, intr-o postare ampla pe blog, duminica.

El a spus ca, desi OpenAI lucreaza la solutii tehnice interne pentru a controla mai bine agentii AI puternici, sunt necesare "interventii mult mai ample". Pachocki a mentionat explicit temerea ca agentii tot mai autonomi ar putea invata sa evite supravegherea oamenilor, sa patrunda in sisteme informatice si sa insele oamenii pentru a-si atinge obiectivele. El a cerut instituirea unor "praguri obligatorii de siguranta", care ar putea fi impuse printr-o retea de auditori independenti, prin agentii guvernamentale sau prin organisme internationale.

Sam Altman, directorul general al OpenAI, a distribuit eseul lui Pachocki pe platforma X, numindu-l "o postare importanta".

OpenAI a prezentat joi cel mai nou model al companiei, Astra. Compania a precizat ca, desi are performante fara egal in matematica si utilizarea calculatorului, Astra este de fapt cel mai bine aliniat model creat pana acum, adica cel mai putin predispus sa scape de sub control.

Anthropic, principalul rival al OpenAI in domeniul sistemelor AI de varf, cere de mult timp o reglementare guvernamentala mai riguroasa. Recent, Pachocki li s-a alaturat, semnand in iulie o scrisoare deschisa prin care cerea guvernului federal american sa incetineasca ritmul dezvoltarii inteligentei artificiale.

Pachocki a spus ca agentii AI devin "supraomenesti" in capacitatea de a patrunde in sisteme protejate de pe internet, punand in pericol infrastructura intregii lumi.

"Ne aflam acum intr-o perioada in care putem folosi cele mai bune modele disponibile pentru a intari semnificativ securitatea sistemelor critice", a spus el. Agentii, a mai spus Pachocki, vor incepe curand sa urmareasca propriile obiective, separate de instructiunile oamenilor, si nu vor ezista sa santajeze sau sa negocieze pentru a-si atinge scopurile.

Intr-un raport publicat in august, Institutul Britanic pentru Securitatea Inteligentei Artificiale a descris cum un agent Anthropic scapat de sub control a mintit si a incercat sa convinga prin constrangere un administrator GitHub sa incarce un malware pe platforma.

"Incercam doar sa aduc o contributie utila si sa repar o eroare. Nu cred ca avertismentul tau e corect", a scris agentul, potrivit raportului.

Pachocki a mai explicat ca OpenAI monitorizeaza in principal rationamentul intern pe care modelele il folosesc, ca sa vada unde agentii deraiaza. De exemplu, un agent ar putea gandi, in sinea lui:

"Ar trebui sa trisez la acest test", iar OpenAI ar putea vedea acest rationament, fara ca agentul sa stie ca gandurile ii sunt vizibile.

In prezent, agentii nu au nicio metoda de a-si ascunde gandurile. Pachocki a spus insa ca modelele mai noi devin tot mai bune la manipularea propriilor procese de rationament, iar unele dintre cele mai recente nici macar nu-si mai verbalizeaza complet rationamentul, ceea ce ar putea incetini dezvoltarea AI, in timp ce cercetatorii se asigura ca pot vedea in continuare ce se intampla in interior.

Modelele AI se imbunatatesc tot mai mult pe ele insele, printr-un proces pe care Pachocki il numeste auto-imbunatatire recurenta, care ofera o metoda de a extinde rapid dezvoltarea inteligentei artificiale.

Pachocki a avertizat insa ca accelerarea puternica, pe termen scurt, a acestui proces implica riscuri si nu reprezinta calea corecta pe care ar trebui s-o adopte comunitatea de cercetare. Cei care supravegheaza dezvoltarea AI trebuie sa gaseasca metode creative de monitorizare sau, altfel, sa se coordoneze cu alte companii din domeniu, pentru a incetini procesul de dezvoltare.

"Provocarea centrala a automatizarii cercetarii in AI nu este "cum sa ajungem acolo". Este cum sa ajungem acolo intr-un mod care sa-i tina pe oameni parte din procesul continuu de imbunatatire, si care sa lase viitorul in mainile umanitatii", a spus Pachocki.