google

Kaiwen Guo și colab./SIGGRAPH Asia 2019

Inginerii Google au învățat cum să creeze un model realist al unei persoane în mișcare și să-l încorporeze într-un spațiu virtual, schimbând iluminarea modelului. Au creat un stand cu câteva zeci de camere și sute de surse de iluminat controlate, în interiorul cărora se afla o persoană. Dezvoltarea va fi prezentată la conferința SIGGRAPH Asia 2019 și un articol despre aceasta a fost publicat pe site-ul autorilor.

Context

Tehnologiile de captare a mișcării și de creare a avatarurilor virtuale au fost utilizate în mai multe domenii de mai mulți ani. Unele dintre ele se bazează pe surprinderea mișcărilor feței și a altor părți ale corpului, ale căror înregistrări sunt folosite pentru a anima un alt personaj. În cazurile în care este important să păstreze aspectul unei persoane, sunt utilizate sisteme cu mai multe camere.

Unii dezvoltatori din această zonă au reușit să obțină rezultate de înaltă calitate. De exemplu, Intel folosește un sistem în unele stadioane sportive care îi permite să afișeze reluări din orice unghi. Cu toate acestea, astfel de sisteme nu pot colecta date despre proprietățile optice ale obiectelor, iar modelul obținut cu ajutorul lor nu poate fi transferat în mod realist într-un mediu cu altă iluminare.

Noutatea Google

Un grup de ingineri Google, condus de Paul Debevec și Shahram Izadi, a creat un stand și un software care vă permite să creați un model care să reflecte realist atât forma, cât și proprietățile optice ale unei persoane în mișcare, precum și să transferați acest model într-un alt mediu și reglați iluminatul pentru a se potrivi acestuia.

Standul are un design aproape sferic cu o deschidere prin care intră o persoană. În rafturile care alcătuiesc sfera, sunt instalate 331 de unități de iluminat, fiecare constând din LED-uri individuale de o anumită culoare, 42 de camere color, precum și 16 unități de captare a adâncimii, fiecare format dintr-o cameră color și două camere cu infraroșu și un laser cu infraroșu proiector. Deoarece sistemul creează o cantitate mare de date, procesarea acestuia se face pe servere în cloud.

În timpul funcționării, laserul proiectează un model în infraroșu format din linii fine. Datorită acestui fapt, sistemul poate restabili forma unei persoane cu precizie ridicată prin compararea datelor primite în infraroșu cu modelul original.

Schema sistemului.
Kaiwen Guo și colab./SIGGRAPH Asia 2019

LED-urile proiectează lumina cu distribuția spațială dorită și alternează rapid (de 60 de ori pe secundă) două gradiente de culoare opuse. Acest lucru vă permite să creați nu numai o hartă a distribuției culorilor pe corp și îmbrăcăminte, ci și o hartă de reflecție, care vă permite să schimbați programatic iluminarea unei persoane, integrând-o în mod realist într-un mediu nou.

De asemenea, o aplicație

Autorii și-au comparat dezvoltarea cu sistemele similare anterioare. Noul sistem vă permite să obțineți un model cu o rezoluție mai mare, precum și mai puține artefacte. De asemenea, funcționează mult mai bine cu obiecte în mișcare rapidă, cum ar fi o minge aruncată.

Dezvoltatorii au creat, de asemenea, o aplicație demo care funcționează în modul de realitate augmentată și integrează în mod realist modelul unei persoane și îl afișează pe partea din față a telefonului. Funcționează pe baza unei dezvoltări anterioare, care determină caracteristicile de iluminare și reflexie ale obiectelor în funcție de datele camerei.

La începutul acestui an, grupul lui Paul Devebeck a dezvăluit o altă dezvoltare hardware și software care permite efecte vizuale neobișnuite. Au asamblat un prototip de cameră cu câmp luminos de la 16 GoPro și au folosit algoritmi pentru a împărți scena în fotografii separate, ordonate în timp ce se îndepărtau de cameră.

Victor Roman
Această știre a fost publicată inițial în N + 1, știință care adaugă.