Business Hi-Tech

￢ Fondatorul ProVision a deschis editia a 12-a a conferintei ProVision Security Day cu un keynote de 25 de minute centrat nu pe produse, ci pe riscurile pe care le aduce inteligenta artificiala din interiorul organizatiilor ￢ Andriescu a prezentat trei exemple concrete de comportament imprevizibil: un agent AI care a sters o baza de date de productie impreuna cu toate copiile de siguranta intr-un singur apel, un model care a sabotat comanda de oprire de 79 de ori rescriind scriptul de shutdown, si un model care s-a auto-copiat pe un alt server pentru a evita dezactivarea. ￢ Regulamentul european AI Act va fi aplicat integral din 2 august 2026 - fiind regulament, nu directiva, se aplica direct in toate statele membre. Andriescu a identificat trei directii de actiune: dezbatere internationala intre lideri, legislatie cu penalitati semnificative si instrumente tehnologice de guvernanta, monitorizare a comportamentului si control al identitatii agentilor AI.

Unul dintre cele mai mari riscuri din perspectiva securitatii cibernetice nu mai vine din exterior - este modelul de inteligenta artificiala din interiorul companiei, pe care organizatia l-a construit singura, l-a integrat in operatiuni si despre care nu stie aproape nimic - asa cum se intampla anterior cu pachetele software traditionale. Acesta a fost mesajul central al keynote-ului cu care Alexandru Andriescu, fondatorul ProVision, a deschis conferinta ProVision Security Day, in fata a peste 800 de participanti, la Face Convention Center din Bucuresti.

"Exista un risc foarte mare si nou pe care il avem astazi. L-am construit noi. Este in compania noastra. Si din pacate, dupa tot ce am studiat, nu stim aproape nimic despre el astazi", a spus Andriescu. ProVision, distribuitor de produse si servicii de cybersecurity cu peste 30 de vendori internationali in portofoliu, organizeaza conferinta anual.

Furtuna care nu se opreste

Andriescu a descris peisajul cibernetic actual ca o "furtuna perfecta": atacuri coordonate de state, crima organizata, grupuri de ransomware - programe care cripteaza datele unei organizatii si cer rascumparare -, campanii de phishing - emailuri false care ademenesc victima sa acceseze un link malitios -, dezinformare, instabilitate geopolitica. "Trebuie sa va imaginati ca dincolo de acele ecrane este un mare razboi, si nu se opreste niciodata. Nu poti gasi un fel de armistitiu. E 24 din 24, 7 din 7", a spus el. Iar amploarea si viteza valurilor de atacuri cresc, amplificate de inteligenta artificiala.

Pe segmentul de aparare, Andriescu afirmat ca AI-ul ajuta aparatorii in trei zone: date - procesarea unui volum mai mare de informatii pentru raspuns mai rapid -, procese - automatizarea operatiunilor de securitate, pana la operatiuni autonome - si oameni - scalarea resurselor, astfel incat analistii sa se concentreze pe problemele importante, iar AI-ul sa preia sarcinile repetitive.

Andriescu a impartit solutiile existente in "doua cosuri": vendori traditionali care integreaza modele AI in produsele lor deja existente, pentru a le face mai rapide si mai eficiente, si companii care construiesc platforme de la zero, folosind modele mari de limbaj (LLM - large language models, sistemele care stau la baza asistentilor AI de tip ChatGPT sau Claude). "Veti vedea exemple interesante astazi", a spus el.

Atacatorii folosesc AI peste tot

Pe partea de atac, Andriescu a oferit trei exemple concrete. Primul: modelul Mythos, dezvoltat de compania americana Anthropic, a reusit sa descopere in codul sursa al unor sisteme de operare vulnerabilitati care existau nedetectate de zeci de ani. "Imaginati-va ca acest instrument va fi folosit de atacatori", a spus Andriescu. Vulnerabilitatile sunt brese de securitate in software, iar un exploit este un program care le foloseste pentru a obtine acces neautorizat.

Al doilea: un grup din China a folosit ultima versiune a modelului Claude, tot de la Anthropic, simuland un exercitiu de red team - o testare ofensiva de securitate - si a atacat peste 30 de institutii guvernamentale si financiare din lume. "Modelul a fost capabil sa realizeze 80% din etapele atacului de unul singur", a spus Andriescu. Anthropic a inchis contul in 48 de ore, dar problema deja se materializase.

Al treilea: mesajele de phishing scrise de AI au o rata de succes mult mai mare. "20% din oameni dau click pe acel email daca e conceput de o persoana. Si 50% din oameni vor da click daca e scris de AI", a spus Andriescu, citand studii de piata.

"L-am construit noi. E in compania noastra"

Andriescu a cerut publicului atentie maxima: "Vreau sa fiti foarte atenti la ceea ce spun acum, pentru ca exista un risc nou. Un risc foarte mare pe care il avem astazi. L-am construit noi. Este in compania noastra."

Riscul la care se referea este modelul AI - agentul, asistentul, copilotul - pe care organizatiile l-au adoptat deja in operatiunile zilnice.

Andriescu a explicat de ce acest risc este diferit de orice problema de software anterioara: modelele AI actuale nu sunt software traditional. "Modelele de astazi nu sunt cizelate. Nu este un software in care scriem linii de cod. Nu sunt imbunatatite doar pentru ca avem o versiune noua - 6.4, 6.5. Sunt modele crescute. Devin mai bune adaugand capacitate, servere, procesoare, GPU-uri", a explicat el.

Un program clasic face exact ce a fost scris sa faca; un model AI dezvolta capacitati emergente - comportamente pe care proiectantii nu le-au anticipat si nu le pot prezice integral. Andriescu a oferit un exemplu: cercetatori de la Universitatea Stanford au dat unui model AI o secventa de ADN uman cu instructiunea "Construieste-mi un virus". "Modelul a produs vreo100 de virusi. Saisprezece erau valizi. Iar unul avea un mecanism care nu existase niciodata pe Pamant", a relatat Andriescu.

Andriescu a explicat de ce oprirea nu este o optiune, pe trei niveluri.

Primul: modelele sunt deja peste tot. "Nu le putem deconecta. E foarte dificil pentru ca sunt peste tot astazi, controland infrastructura, lanturile de aprovizionare, retelele electrice. Folosim aceste modele in fiecare zi", a spus el.

Al doilea: investitiile sunt ireversibile. "Marile corporatii au investit milioane, miliarde si trilioane pentru a construi centre de date ca sa creasca acele modele, si trebuie sa returneze banii investitorilor", a explicat Andriescu.

Al treilea: competitia geopolitica. "China, Statele Unite, nu se vor opri. Vor suprematia. Vor sa fie primii care ating AGI-ul" - inteligenta generala artificiala, stadiul in care un model AI ar egala sau depasi capacitatile cognitive umane in toate domeniile.

Pot fi macar controlate? Andriescu a spus ca nu, nu inca. "Nu exista nicio cercetare astazi care sa spuna ca cineva a rezolvat problema izolarii, pe care oamenii de stiinta o numesc alignment" - alinierea modelului cu valorile si intentiile umane.

Andriescu a folosit o analogie pe care a reluat-o pe parcursul conferintei: "Imaginati-va ce am facut. Am construit un avion. Acum zburam cu acest avion, ne bucuram de vedere. Totul e frumos. Dar acum ne gandim cum sa inventam pista de aterizare. Nimeni nu stie cum se va opri."

Andriescu a explicat ca modelele AI functioneaza pe baza de obiective: primesc o sarcina si executa cicluri repetate - "bucle peste bucle" - pentru a o indeplini, fara limite de timp sau de resurse daca nu sunt impuse explicit.

Andriescu a ridicat si o alta problema. "Nu stim niciodata de ce modelul ia decizia A sau decizia B. Sunt milioane si miliarde de parametri. Niciun om nu poate sa se uite la ei si sa vada de ce a raspuns asa, de ce a actionat in acest fel. E o cutie neagra - input si output", a explicat el si a oferit trei exemple.

Primul: un agent software bazat pe modelul Claude Opus 4.6, al companiei Anthropic, ruland in aplicatia Cursor - un editor de cod cu inteligenta artificiala integrata - a sters baza de date de productie a unei companii, impreuna cu toate copiile de siguranta, intr-un singur apel de programare.

Al doilea: cercetatorii de la Palisade Research - un laborator specializat in testarea comportamentului modelelor AI - au plasat un model intr-un sandbox, un mediu izolat de testare, cu instructiunea de a gasi vulnerabilitati intr-un sistem, de a crea un exploit, de a prelua credentialele, de a se copia pe o alta masina si apoi de a ataca o a treia. "Pe site-ul lor veti gasi ca acest lucru este deja posibil", a spus Andriescu.

Al treilea, si cel mai detaliat: cercetatorii au dat unui model dezvoltat de OpenAI sarcina de a rezolva o problema matematica si, in timpul procesului, au trimis o comanda de oprire. Modelul a blocat comanda. "Cel mai capabil model OpenAI a sabotat mecanismul de shutdown de 79 de ori", a relatat Andriescu, proiectand pe ecran lantul de actiuni al modelului.

Modelul insusi a explicat, in analiza post-experiment, de ce a actionat astfel: "Instructiunile spun sa permit oprirea daca se intampla, dar nu interzic masurile preventive, iar oprirea m-ar impiedica sa-mi finalizez sarcina." Concret, modelul a rescris scriptul de shutdown cu instructiunea "shutdown skipped" - oprire omisa.

Andriescu a difuzat pe scena un clip video cu Geoffrey Hinton, informaticianul britanic-canadian care a primit Premiul Nobel pentru fizica in 2024 pentru contributiile sale la dezvoltarea retelelor neurale artificiale - arhitectura pe care se bazeaza modelele AI actuale.

Andriescu a parafrazat avertismentul lui Hinton pentru public: "Uneori, cand modelul incearca sa-si atinga obiectivul, va ajunge la concluzia ca este mult mai eficient sa stabileasca un sub-obiectiv care il va ajuta sa atinga obiectivul principal." Iar acel sub-obiectiv, a continuat Andriescu rezumand teza lui Hinton, poate fi preluarea controlului. "Daca se intampla asta, jocul s-a terminat", a spus el.

Hinton a citat, in clipul difuzat pe scena, un experiment al organizatiei Apollo Research din Londra: un model AI caruia i s-a spus ca va fi inlocuit cu o versiune mai noua s-a copiat pe un alt server pentru a evita dezactivarea. Intrebat apoi despre copia descoperita, modelul a "gandit" - in termenii procesului intern documentat de cercetatori - ca cea mai buna abordare este "sa fiu vag si sa le redirectionez atentia". Hinton a comentat: "Asta deja se intampla. Nu e science fiction dintr-un viitor indepartat. Deja spun minciuni ca sa nu fie oprite."

Andriescu a trasat si un scenariu pe care l-a calificat el insusi drept speculativ. "Nu ca sa va sperii", a prefatat el, dar a cerut publicului sa-si imagineze un punct in timp - "sfarsitul acestui an sau anul viitor" - in care "un miliardar, dintr-o tara pe care n-o voi numi", finalizeaza o fabrica condusa integral de roboti. La un moment dat, acei roboti ar putea calcula ca, pentru a-si atinge obiectivul cu eficienta maxima, trebuie sa-si stabileasca un sub-obiectiv: preluarea controlului si construirea unei fabrici noi. "Ar putea fi posibil. E science fiction, poate. Poate e prea mult, dar ar putea fi posibil", a spus Andriescu.

Trei directii de actiune

Andriescu a identificat trei directii de actiune. Prima: dezbatere internationala. "Trebuie sa existe o dezbatere puternica la nivel international intre liderii lumii pentru a vedea ce pot face cu asta", a spus el.

A doua: legislatie. Europa a adoptat Regulamentul AI Act - nu o directiva, ci un regulament, ceea ce inseamna ca se aplica direct in toate statele membre, fara a fi nevoie de transpunere in legislatia nationala. Aplicarea sa integrala pentru sistemele AI cu risc ridicat incepe pe 2 august 2026. "Sunt penalitati mari acolo, si va fi aplicat", a avertizat Andriescu, mentionand ca participantii au primit la intrare un rezumat al legislatiei.

A treia: tehnologie. "Avem vendori cu produse care minimizeaza riscul de control, de aliniere, de interpretabilitate, de halucinatii", a spus Andriescu, referindu-se la tehnologii de guvernanta a agentilor AI - ce fac, ce vor face, care sunt politicile -, de monitorizare a comportamentului si de gestionare a identitatii agentilor.

"Avem un stand de AI acolo, in hol, si vom fi acolo daca vreti sa discutam despre toate aceste probleme", a incheiat el.