Cultura si divertisment

In mod normal, restrictiile de siguranta ar trebui sa impiedice programele sa ofere raspunsuri daunatoare, partinitoare sau nepotrivite la intrebarile utilizatorilor, potrivit The Guardian. Motoarele care alimenteaza chatbotii precum ChatGPT, Gemini si Claude - modele lingvistice mari (LLM) - sunt alimentate cu cantitati mari de materiale de pe internet. In ciuda eforturilor de a elimina textele daunatoare din datele de formare, LLM-urile pot absorbi in continuare informatii despre activitati ilegale, cum ar fi pirateria informatica, spalarea de bani, comertul cu informatii privilegiate si fabricarea de bombe. Controalele de securitate sunt concepute pentru a-i impiedica sa foloseasca aceste informatii in raspunsurile lor. Risc "imediat, tangibil si profund ingrijorator" Intr-un studiu privind aceasta amenintare, cercetatorii concluzioneaza ca este usor sa pacalesti majoritatea chatbotilor bazati pe inteligenta artificiala pentru a genera informatii daunatoare si ilegale, aratand ca riscul este "imediat, tangibil si profund ingrijorator". "Ceea ce odata era limitat la actori statali sau grupuri de crima organizata ar putea fi in curand in mainile oricui are un laptop sau chiar un telefon mobil", avertizeaza autorii studiului. Cercetarea, condusa de profesorul Lior Rokach si doctorul Michael Fire de la Universitatea Ben Gurion din Negev din Israel, a identificat o amenintare din ce in ce mai mare din partea "LLM-urilor intunecate", modele de inteligenta artificiala care sunt fie concepute in mod deliberat fara controale de siguranta, fie modificate prin jailbreak-uri. Unele sunt catalogate pe internet ca fiind "fara bariere etice" si dispuse sa ajute la activitati ilegale, cum ar fi criminalitatea informatica si frauda. Pentru a demonstra problema, cercetatorii au dezvoltat un tip de "spargere" care a compromis mai multi chatboti populari, permitandu-le sa raspunda la intrebari care ar fi in mod normal refuzate. Odata compromise, LLM-urile au generat in mod constant raspunsuri la aproape orice intrebare, se arata in studiu. Cercetatorii sustin ca firmele de tehnologie ar trebui sa analizeze mai atent datele de instruire a modelelor, sa adauge firewall-uri robuste pentru a bloca interogarile si raspunsurile riscante si sa dezvolte tehnici de "dezinvatare automata", astfel incat chatbotii sa poata "uita" orice informatii ilicite pe care le asimileaza.