Software

Serviciile deepfake audio abia lansate de un startup numit Eleven Labs au fost deturnate pentru raspandirea mesaje rasiste si homofobe, rostite folosind vocea unor vedere recunoscute.

Ce poate fi mai rau decat sa-ti vezi chipul lipit peste fata unor persoane care participa la activitati profund denigratoare? Raspunsul ar fi, sa auzi rostite lucruri ingrozitoare spuse de respectivii protagonisti, rostite folosindu-ti propria voce.

Compania specializata in servicii text-to-voice si-a anuntat programul de testare beta pe 23 ianuarie, dezvoltatorii promitand reproducerea cu acuratete a stilului si cadentei vocii oricarei fiinte umane, folosind nimic altceva decat cateva mostre audio trimise spre analiza software-ului bazat pe inteligenta artificiala.

Denumit Voice Lab, serviciul a atras rapid atentia oportunistilor care nu au ezitat sa il foloseasca pentru imitarea vocilor unor vedete foarte cunoscute, bun recitand fraze dintre cele mai revoltatoare. Spre exemplu, actrita Emma Watson poate fi ascultata recitand pasaje din celebra carte Mein Kampf, publicata de catre dictatorul Adolf Hitler cu scopul de a justifica a ideologia nazista. Un alt exemplu "graitor" este cel in care Justin Roiland, vocea lui Rick Sanchez din serialul animat Rick & Morty, poate fi auzit bun povestind despre cum isi va bate strasnic nevasta, cu referire la acuzatiile nefericite care il vizeaza si in viata reala.

Crazy weekend - thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

- ElevenLabs (@elevenlabsio) January 30, 2023

Aparent, administratorul ElevenLabs a omis sa implementeze mecanisme eficiente pentru impiedicarea abuzurilor, serviciul bazat pe inteligenta artificiala fiind rapid deturnat pentru generarea de continut pe teme dintre cele mai diverse.

Ulterior, compania a declarat pe Twitter ca au avut un "weekend nebun" si a remarcat ca, in timp ce tehnologia lor "a fost aplicata in mod covarsitor pentru o utilizare pozitiva", dezvoltatorii au vazut si un "numar tot mai mare de cazuri de utilizare gresita a clonarii vocii", fara a nominaliza o anumita platforma. Cert este ca in urma experientelor avute, dezvoltatorul Eleven Labs se poate astepta la procese costisitoare, ce ar putea opri brusc ambitiile de pentru faima globala.

Articolul Eleven Labs, un startup care oferea sinteza vocala prin imitarea oricarei voci, a fost inchis la doar cateva zile dupa anuntul de lansare apare prima data in Go4IT.