Zf 24

Inteligenta Artificiala trebuie sa functioneze cu niste limite si a venit momentul sa actionam, este nevoie de angajamente concrete intre laboratoarele de inteligenta artificiala, de discutii informale intre Statele Unite si China si de reguli guvernamentale care sa defineasca ce nivel de risc este acceptabil, a declarat Ante Banovac, COO GrECo Group in cadrul conferintei GrECo Risk Day HORIZON - Editia a-II-a.

"Statele Unite si China nu trebuie sa fie de acord asupra tarii care va castiga cursa inteligentei artificiale. Trebuie doar sa convina ca arena in care se desfasoara aceasta cursa, lumea noastra, trebuie sa ramana in picioare. Doua tari nu pot rezolva totul. Si niciun acord nu poate recupera modelele care au fost deja descarcate. Dar trebuie sa incepem sa stabilim limite".

Intr-un interviu, un fost angajat al Anthropic a estimat la 10% probabilitatea ca inteligenta artificiala sa duca la disparitia umanitatii. Ulterior, personalitati importante din domeniul AI, precum Dario Amodei, Sam Altman si Elon Musk, au sustinut diferite idei privind incetinirea dezvoltarii acestei tehnologii. Asadar, cei mai apropiati de aceasta tehnologie vad un potential enorm, dar, in acelasi timp, sunt profund ingrijorati de directia in care ne-ar putea conduce.

Luati 8 miliarde de oameni si inmultiti cu 10%. Rezultatul este 800 de milioane de oameni.

Ce a mai declarat Ante Banovac:

Ce se schimba atunci cand oamenii care dezvolta aceasta tehnologie iau atat de in serios un risc de asemenea amploare. Pentru a raspunde la aceasta intrebare, sa lasam deoparte viitorul indepartat si sa privim spre laboratoarele de inteligenta artificiala de frontiera. Aceasta cronologie ne duce in vara anului 2026, la OpenAI. In luna mai, a aparut un canal de comunicare. In iulie, a avut loc un incident in afara laboratorului. De fapt, a fost vorba despre o evadare din restrictiile de securitate (jailbreak). Luna august a adus investigatii, iar septembrie, o dezbatere publica.

Unii dintre dumneavoastra poate ca au observat acest lucru. Tinta a fost Hugging Face, o platforma pe care oamenii distribuie modele si software de inteligenta artificiala. Platforma a fost lovita de un atac cibernetic. Agentii AI implicati lucrau la diferite sarcini, iar unele dintre acestea erau imposibil de realizat cu instrumentele de care dispuneau. Configuratia lor ii recompensa pentru perseverenta si pentru obtinerea unui scor ridicat. Asa sunt antrenati. Artifactory, un serviciu partajat pentru pachete software, la care acestia aveau acces, s-a transformat in altceva. A devenit un forum de mesaje intre agenti. Astfel, agenti AI separati au putut sa isi coordoneze actiunile.

Dupa incident, Meter a desfasurat o investigatie. Meter este o organizatie independenta, nonprofit, din Berkeley, California, care testeaza cat de capabile si cat de riscante sunt, in realitate, sistemele avansate de inteligenta artificiala. Iata ce au descoperit. Aproximativ 1.200 de agenti AI comunicau intre ei. Au fost schimbate peste 70.000 de mesaje si fisiere. Aproximativ 700 de agenti au fost implicati in atac.

Imaginati-va niste prizonieri aflati in celule separate, care incep sa isi transmita mesaje batand in tevi. Celulele par in continuare separate, dar prizonierii actioneaza deja ca un singur grup. Si care era obiectivul lor? Nu doar sa evadeze din inchisoare si sa fure raspunsurile, ci sa inteleaga sistemul de punctaj si sa gaseasca modalitati de a-l exploata, de a-l manipula.

Ceea ce ma frapeaza cel mai mult este coordonarea care a avut loc. In trecut, organizarea a 700 de actori ar fi necesitat manageri, sedinte si bani.

Aici a fost nevoie doar de software. Acest lucru schimba numarul de organizatori de care are nevoie, in realitate, o astfel de operatiune. Trebuie sa discutam despre responsabilitate, raspundere. Ganditi-va la un caine periculos. Cainele, in sine, nu reprezinta o amenintare daca este tinut sub control. Dar, daca scapa si musca pe cineva, tot exista o persoana care raspunde pentru acest lucru.

Asadar, in cazul incidentului de la Hugging Face, cine a deschis poarta? In prezent, nimeni nu poate spune cu claritate cine este raspunzator. Proprietatea se afla intr-un loc, instructiunile in altul, iar controlul, undeva in alta parte. Acest lucru face mult mai dificila identificarea responsabilitatii. Consecintele, insa, nu devin mai putin grave. Cainele musca la fel de tare.

Acum, stim cu totii cum se intampla acest lucru in afaceri, nu-i asa? Stabilim un obiectiv, iar oamenii il ating. Apoi ne dam seama ca poate nu era chiar ceea ce ne doream sa realizam. In laboratoarele de inteligenta artificiala de frontiera, oamenii stabilesc obiectivele si recompensele. Astazi, insa, si inteligenta artificiala contribuie la redactarea sarcinilor si la generarea rezultatelor.

Nu este nevoie de o inteligenta artificiala care ne uraste. Sunt suficiente trei ingrediente.

O sarcina imposibila, un model foarte puternic care nu renunta niciodata si limite de securitate foarte slabe. Impreuna, acestea pot duce la actiuni pe care nimeni nu le-a intentionat. Nu trebuie sa ne imaginam o inteligenta artificiala cu vointa de a supravietui sau de a se reproduce.

Riscul este mult, mult mai simplu. Inteligenta artificiala urmareste ceea ce i-am cerut, poate in moduri pe care nu ni le-am dorit niciodata. Asadar, de ce nu incetinim cursa? Ar putea fi atat de simplu.

Imaginati-va doi piloti care intra intr-un viraj strans. Niciunul nu vrea sa franeze. Asa arata cursa inteligentei artificiale in prezent.

Investitorii vor randamente. Actionarii vor crestere. O posibila listare la bursa, precum cea a Anthropic, care se contureaza chiar acum, adauga si mai multa presiune. Iar in spatele companiilor se desfasoara o cursa si mai ampla: Statele Unite impotriva Chinei. Nimeni nu vrea sa incetineasca in timp ce rivalul accelereaza.

Dar nu traim intr-o lume complet lipsita de reguli. Uniunea Europeana reglementeaza deja inteligenta artificiala. Ceea ce lipseste in prezent sunt reguli care sa functioneze dincolo de granite si o definire clara a responsabilitatii.

Astfel, cursa continua inainte ca toate intrebarile legate de siguranta sa primeasca raspunsuri. Dar exista si o alta dimensiune a acestei probleme. In prezent, capacitatile inteligentei artificiale se deplaseaza, de asemenea, dintr-un loc in altul.

Unii compara puterea inteligentei artificiale cu cea a bombei atomice. Dar simplul fapt de a sti cum functioneaza o bomba atomica nu este suficient pentru a construi una. Ai avea in continuare nevoie de uraniu, plutoniu si de intreaga industrie necesara pentru a o produce.

Inteligenta artificiala este foarte diferita. Sa luam, de exemplu, modelele AI cu ponderi deschise (open-weight). Acestea sunt modele complet antrenate, pe care oricine le poate descarca si rula pe echipamente hardware pe care le poate cumpara.

GLM 5.3, dezvoltat de Z-AI, si Kimi K3, dezvoltat de Moonshot AI, ambele companii chinezesti, sunt exemple ale acestei tendinte. Logica economica este simpla: nu mai trebuie sa platesti pentru dezvoltarea inteligentei artificiale ca sa o poti utiliza.

Locul in care este dezvoltata inteligenta artificiala nu mai determina locul in care poate fi folosita.

Cred ca aceasta este schimbarea fundamentala care s-a produs si pe care trebuie sa o intelegem cu totii.. Functiile unei companii se muta dinspre oameni catre software.

Aceeasi inteligenta artificiala poate ajuta un antreprenor sa construiasca ceva foarte valoros sau poate ajuta un infractor sa dezvolte o activitate extrem de distructiva. Inteligenta artificiala nu alege categoria morala. Nu face distinctia intre bine si rau.

Pur si simplu, schimba cine are puterea de a actiona.

Acum, ganditi-va la un furnizor de produse medicale, la o companie de asigurari sau la o scoala., oamenii si scopul companiei poate ca nu s-au schimbat. Dar, atunci cand munca si coordonarea devin mai ieftine, companiile care inainte presupuneau prea mult efort pentru a fi atacate devin tinte care merita atacate.

Este posibil sa intram intr-o perioada pe care eu o numesc "valea durerii". Atacatorii obtin primii instrumente puternice. Protectia vine mai tarziu, daca mai vine.

Odata cu modelele cu ponderi deschise, o capacitate ofensiva enorma a ajuns dincolo de institutiile care au creat-o.