Facebook demonstrează Vid2Play, un AI care poate crea personaje de jocuri video din filmări cu oameni reali

În mod normal, crearea personajelor pentru jocuri 3D este un proces complicat, implicând multe ore petrecute construind machete 3D, aplicând texturi şi adaptând dinamica mişcărilor pentru obţinerea unui efect cât mai realist. Însă cu noua tehnologie demonstrată de Facebook, toate aceste etape ar putea fi reduse la analizarea unei serii de clipuri video în care o persoană reală desfăşoară diverse activităţi, similare celor aşteptate de la personajul 3D.

Analiza este făcută cu ajutorul a două reţele de procesare neurală Pose2Pose şi Pose2Frame. Prima are scopul de a transpune în mediul virtual diverse tipuri de activităţi, cum ar fi dansul şi mişcările din tenis sau fotbal. Sistemul Pose2Frame recreează apoi persoana respectivă în 3D, complet cu obiectele ţinute în mână şi umbra lăsată pe teren. Personajul 3D astfel obţinut poate fi inserat în orice scenă virtuală şi controlat folosind gamepad-ul sau tastatura. Alternativ, mişcările prelevate anterior pot fi învăţate de AI-ul jocului şi recreate ori de câte ori este nevoie.

Principalul avantaj al sistemului AI gândit de Facebook este că poate replica aspectul şi mişcările unui personaj folosind doar câteva clipuri scurte care să redea activităţile respective, ignorând alte persoane aflate în fundal şi compensând pentru diferite unghiuri de filmare. Asta face posibilă folosirea sistemului şi în afara studiourilor special amenajate în acest scop, spre exemplu pentru a genera replici virtuale ale jucătorilor dintr-un meci de fotbal, complet cu reacţiile unice pe care aceştia le au în timpul jocului.

Sistemul nu e încă perfect. Mai este de lucrat la ancorarea personajelor în mediul virtual, astfel încât mişcările redate să ţină cont şi de suprafaţa pe care acestea se află. Dinamica mişcărilor este un pic limitată, dar reuşeşte să transmită impresia de realism.

Atunci când este finalizat, sistemul Vid2Game creat de Facebook ar putea face gamingul o activitate mult mai personală, lăsând utilizatorii să şi insereze propriul personaj în lumea de joc.