Utilizatorii de Android și iOS vor putea folosi tehnologiile Google Lens bazate pe realitate augmentată (AR) pentru a afla informații despre obiectele și locațiile întâlnite.
Spre exemplu, vei putea descoperi promoțiile active cu o simplă poză făcută la intrarea în magazin. Vei putea afla informații detaliate despre obiective de interes turistic și traduce în timp real panourile cu mesaje întâlnite în vacanțele tale, textul apărând direct pe ecranul telefonului.
Aplicația Google Lens suportă inclusiv traducerea offline a textului preluat folosind camera foto, operațiunea funcționând pentru oricare dintre limbile acceptate cu condiția să fi descărcat dinainte pachetul relevant de traducere offline. Traducerea va apărea într-o suprapunere peste textul original și este un instrument excelent pentru persoanele care călătoresc mult.
Cu modificarea adusă de Google, folosirea butonului Translate deschide aceeași interfață Lens UI, atât din aplicația Google Lens cât și din Google Translate. Funcționalitatea permite inclusiv salvarea capturilor de ecran, spre a fi vizualizate ulterior în forma originală sau în versiunea tradusă.
Principalul avantaj este dat de includerea tehnologie Magic Eraser. Demonstrată mai întâi pe telefoanele pixel, aceasta permite substituirea textului original cu versiunea tradusă într-un mod mult mai convingător, păstrând aspectul original al imaginii.
Funcționalitatea AR Translate are un timp de răspuns de aproximativ 100 milisecunde, atât la analizarea capturilor de ecran dar și la procesarea imaginilor obținute în timp real folosind camera foto. Altfel spus, experiența oferită utilizatorilor este aproape instantanee și cu minime alterări a imaginii-sursă, traducerile fiind integrate cu aspectul original al imaginii.