Un quartier de San Franscisco reconsituté virtuellement à partir de 2,8 millions de photos

Waymo, entreprise spécialisée en véhicules autonomes, a développé une technologie qui, combinée à l’IA, a permis de reconstituer San Francisco en 3D à partir de 2,8 millions d’images. 

Les récentes recherches en intelligence artificielle appliquées à l'imagerie de synthèse ont permis de générer des scènes 3D à partir de quelques photos seulement. On utilise les NeRF « Neural Radiance Field » (ou « champ de rayonnement neuronal » en français)  pour synthétiser des vues de scènes complexes, à partir de quelques images d’entrée 2D. L' IA va alors intervenir pour combler les lacunes. Plusieurs entreprises comme Google ou encore NVIDIA ont déjà expérimenté cette technologie. Mais les chercheurs de Waymo sont allés encore plus loin ! Ils ont réussi à recréer un modèle 3D de San Francisco, à l’aide de 2,8 millions de photos.

2,8 millions photos capturées sur 3 mois 

L’équipe a créé “Block-NeRF”, une variante de NeRF, composée de plusieurs "blocs" qui permettent de représenter de grands environnements et reconstituer des scènes à grande échelle. Les chercheurs de Waymo se sont concentrés sur le quartier d’Alamo qui s'étend sur 500 mètres carré environ. Ils l’ont représenté en 3D en utilisant 35 Block-NeRF, soit un par bloc. Ils ont ensuite utilisé 2,8 millions de photos, capturées sur une durée de 3 mois, à différents moments de la journée, sous différentes météos, etc. Soit 13 heures de conduite et 1330 trajets de voitures autonomes pour prendre ces photos. Enfin, pour toutes les zones que les véhicules ne pouvaient photographier, l’IA qui a synthétisé de nouvelles informations et a comblé les vides pour un rendu plus homogène. 

En tout, l’équipe a réussi à reconstituer en 3D les quartiers Alamo Square, Lombard Street, le Bay Bridge, le quartier Embarcadero, le Moscone Center et le centre-ville de San Francisco. La technologie Block-NeRF n’est pas encore parfaite. Mais à terme, elle pourrait être utilisé par des studios de cinéma pour créer virtuellement de grands décors extérieurs.