295 vues

22 Avr 2022

Lire la vidéo

Un quartier de San Franscisco reconsituté virtuellement à partir de 2,8 millions de photos

Waymo, entreprise spécialisée en véhicules autonomes, a développé une technologie qui, combinée à l’IA, a permis de reconstituer San Francisco en 3D à partir de 2,8 millions d’images. 

 

Les récentes recherches en intelligence artificielle appliquées à l’imagerie de synthèse ont permis de générer des scènes 3D à partir de quelques photos seulement. On utilise les NeRF « Neural Radiance Field » (ou « champ de rayonnement neuronal » en français)  pour synthétiser des vues de scènes complexes, à partir de quelques images d’entrée 2D. L’ IA va alors intervenir pour combler les lacunes. Plusieurs entreprises comme Google ou encore NVIDIA ont déjà expérimenté cette technologie. Mais les chercheurs de Waymo sont allés encore plus loin ! Ils ont réussi à recréer un modèle 3D de San Francisco, à l’aide de 2,8 millions de photos.

 

2,8 millions photos capturées sur 3 mois 

 

L’équipe a créé “Block-NeRF”, une variante de NeRF, composée de plusieurs “blocs” qui permettent de représenter de grands environnements et reconstituer des scènes à grande échelle. Les chercheurs de Waymo se sont concentrés sur le quartier d’Alamo qui s’étend sur 500 mètres carré environ. Ils l’ont représenté en 3D en utilisant 35 Block-NeRF, soit un par bloc. Ils ont ensuite utilisé 2,8 millions de photos, capturées sur une durée de 3 mois, à différents moments de la journée, sous différentes météos, etc. Soit 13 heures de conduite et 1330 trajets de voitures autonomes pour prendre ces photos. Enfin, pour toutes les zones que les véhicules ne pouvaient photographier, l’IA qui a synthétisé de nouvelles informations et a comblé les vides pour un rendu plus homogène

 

En tout, l’équipe a réussi à reconstituer en 3D les quartiers Alamo Square, Lombard Street, le Bay Bridge, le quartier Embarcadero, le Moscone Center et le centre-ville de San Francisco. La technologie Block-NeRF n’est pas encore parfaite. Mais à terme, elle pourrait être utilisé par des studios de cinéma pour créer virtuellement de grands décors extérieurs. 

Partager sur whatsapp
Partager sur twitter
Partager sur linkedin
Partager sur facebook
Partager sur telegram
Partager sur email

© 2020 briefstory. Tous droits réservés

briefstory est
disponible sur mobile

Accèdez à la story en flashant le QR code ci-dessous
QR Code

© 2020 briefstory. Tous droits réservés