Business Hi-Tech

￢ Tehnologia Promptfoo, utilizata deja de peste 25% din companiile Fortune 500, va fi integrata direct in platforma enterprise OpenAI. ￢ Miscarea vizeaza identificarea si remedierea vulnerabilitatilor din sistemele AI, precum injectiile de prompturi si scurgerile de date. ￢ Achizitia va adauga functionalitati native de testare automatizata a securitatii si guvernanta in procesul de dezvoltare a agentilor AI.

OpenAI a anuntat achizitia Promptfoo, o platforma de securitate AI care ajuta companiile sa identifice si sa remedieze vulnerabilitatile din sistemele bazate pe inteligenta artificiala in timpul procesului de dezvoltare. Odata cu finalizarea tranzactiei, compania va integra tehnologia Promptfoo direct in OpenAI Frontier, platforma sa dedicata construirii si operarii asistentilor digitali complecsi (AI coworkers).

"Promptfoo aduce o expertiza inginereasca profunda in evaluarea, securizarea si testarea sistemelor AI la scara enterprise. Munca lor ajuta companiile sa implementeze aplicatii AI sigure si de incredere, si suntem incantati sa aducem aceste capacitati direct in Frontier", a declarat Srinivas Narayanan, CTO al diviziei de aplicatii B2B in cadrul OpenAI.

Securitatea ca cerinta fundamentala

Pe masura ce companiile implementeaza agenti AI in fluxurile reale de lucru, evaluarea, securitatea si conformitatea devin cerinte critice. Mediul enterprise are nevoie de metode sistematice pentru a testa comportamentul agentilor, pentru a detecta riscurile inainte de implementare si pentru a mentine inregistrari clare care sa sustina supravegherea, guvernanta si responsabilitatea pe termen lung.

Echipa Promptfoo, condusa de Ian Webster si Michael D'Angelo, a construit o suita de instrumente in care au incredere peste 25% dintre companiile din topul Fortune 500. Portofoliul lor include, de asemenea, o interfata in linie de comanda (CLI) open-source utilizata la scara larga si o biblioteca pentru evaluarea si testarea de securitate (red-teaming) a aplicatiilor LLM.

"Am fondat Promptfoo deoarece dezvoltatorii aveau nevoie de o modalitate practica pentru a securiza sistemele AI. Pe masura ce agentii AI devin tot mai conectati la date si sisteme reale, securizarea si validarea lor este mai provocatoare si mai importanta ca niciodata. Alaturarea in echipa OpenAI ne permite sa acceleram aceasta munca, aducand capacitati mai puternice de securitate, siguranta si guvernanta echipelor care construiesc sisteme AI pentru lumea reala", a precizat Ian Webster, cofondator si CEO, Promptfoo.

OpenAI si Promptfoo vor continua sa dezvolte proiectul open-source, avansand simultan capacitatile enterprise integrate in cadrul Frontier.

Directii de dezvoltare in platforma Frontier

OpenAI va construi pe baza mai multor capacitati esentiale pentru companiile care dezvolta agenti pe Frontier. In primul rand, testarea automatizata a securitatii si capacitatile de red-teaming vor deveni o parte nativa a platformei, ajutand la remedierea riscurilor precum injectiile de prompturi, jailbreak-urile, scurgerile de date sau utilizarea abuziva a instrumentelor.

In al doilea rand, Frontier se va integra cu fluxurile de lucru necesare pentru a identifica si investiga riscurile intr-un stadiu incipient. Nu in ultimul rand, functiile integrate de raportare si trasabilitate vor ajuta organizatiile sa documenteze testele si sa indeplineasca asteptarile de conformitate.