Eleven Labs, un startup care oferea sinteză vocală prin imitarea oricărei voci, a fost închis la doar câteva zile după anunțul de lansare

Serviciile deepfake audio abia lansate de un startup numit Eleven Labs au fost deturnate pentru răspândirea mesaje rasiste și homofobe, rostite folosind vocea unor vedere recunoscute.

Ce poate fi mai rău decât să-ți vezi chipul lipit peste fața unor persoane care participă la activități profund denigratoare? Răspunsul ar fi, să auzi rostite lucruri îngrozitoare spuse de respectivii protagoniști, rostite folosindu-ți propria voce.

Compania specializată în servicii text-to-voice și-a anunțat programul de testare beta pe 23 ianuarie, dezvoltatorii promițând reproducerea cu acuratețe a stilului și cadenței vocii oricărei ființe umane, folosind nimic altceva decât câteva mostre audio trimise spre analiză software-ului bazat pe inteligență artificială.

Denumit Voice Lab, serviciul a atras rapid atenția oportuniștilor care nu au ezitat să îl folosească pentru imitarea vocilor unor vedete foarte cunoscute, bun recitând fraze dintre cele mai revoltătoare. Spre exemplu, actrița Emma Watson poate fi ascultată recitând pasaje din celebra carte Mein Kampf, publicată de către dictatorul Adolf Hitler cu scopul de a justifica â ideologia nazistă. Un alt exemplu „grăitor” este cel în care Justin Roiland, vocea lui Rick Sanchez din serialul animat Rick & Morty, poate fi auzit bun povestind despre cum își va bate strașnic nevasta, cu referire la acuzațiile nefericite care îl vizează și în viața reală.

Crazy weekend – thank you to everyone for trying out our Beta platform. While we see our tech being overwhelmingly applied to positive use, we also see an increasing number of voice cloning misuse cases. We want to reach out to Twitter community for thoughts and feedback!

— ElevenLabs (@elevenlabsio) January 30, 2023

Aparent, administratorul ElevenLabs a omis să implementeze mecanisme eficiente pentru împiedicarea abuzurilor, serviciul bazat pe inteligență artificială fiind rapid deturnat pentru generarea de conținut pe teme dintre cele mai diverse.

Ulterior, compania a declarat pe Twitter că au avut un „weekend nebun” și a remarcat că, în timp ce tehnologia lor „a fost aplicată în mod covârșitor pentru o utilizare pozitivă”, dezvoltatorii au văzut și un „număr tot mai mare de cazuri de utilizare greșită a clonării vocii”, fără a nominaliza o anumită platformă. Cert este că în urma experiențelor avute, dezvoltatorul Eleven Labs se poate aștepta la procese costisitoare, ce ar putea opri brusc ambițiile de pentru faimă globală.