Nvidia demonstrează Neuralangelo, AI-ul care poate genera obiecte 3D analizând clipuri video 2D

Dacă până acum, generarea unui model 3D suficient de precis pentru a fi reprodus la imprimanta 3D sau inclus într-un joc de consolă/PC necesita folosirea unui dispozitiv dedicat de scanare laser, Nvidia Neuralangelo livrează același rezultat analizând clipuri YouTube.

De departe, etapa cea mai costisitoare și mare consumatoare de timp, crearea de machete 3D pentru un viitor joc video ar putea fi rezumată la conectarea AI-ului Neuralangelo la o colecție de filmări detaliate cu obiectul real, urmată de procesarea cu ajutorul serverelor echipat cu acceleratoare furnizate tot de Nvidia. Teoretic, nimic nu împiedică extinderea acestei tehnologii la scară mare, permițând recrearea în mediul virtual a unor întregi orașe din lumea reală, doar pe baza capturilor video.

Potrivit Nvidia, AI-ul Neuralangelo are nevoie de doar câteva cadre detaliate, care să surprindă obiectul vizat din mai multe unghiuri. Altfel spus, mare parte din modelul 3D este aproximat de AI, detaliile absente din imaginile 2D fiind completate folosind „experiența” bazelor de date care acoperă tot felul de aspecte ale fizionomiei umane, obiecte comune și textura anticipată de la obiectul identificat (ex. piele, autoturism, cladire, statuie, etc). Cu siguranță, în funcție de claritatea imaginii sursă, anumite detalii vor trebui corectate manual. Însă AI-ul poate prezice anumite ajustări ce ar fi dificil de aplicat ulterior, cum ar fi forma și rugozitatea țiglelor de pe acoperiș, textura marmurei de pe o statuie, sau compensarea variațiilor de culoare induse de iluminarea necorespunzătoare a obiectului analizat. Astfel, o scenă 3D completă ar putea fi obținută în numai două ore, incluzând și corecțiile aplicate manual.

Ming-Yu Liu, coautor al lucrării, susține că Neuralangelo va permite „în cele din urmă dezvoltatorilor să importe obiecte detaliate, de la statui până la clădiri masive, în medii virtuale pentru jocuri video sau uz industrial”.  Astfel de rezultate vor putea fi accelerate utilizând filmări obținute cu ajutorul dronelor, surprinzând locația respectivă din cât mai multe unghiuri.