Compréhension des scènes 3D : l'approche à vocabulaire ouvert d'Open3DSG pour les nuages ​​de points

Auteur : Harpreet Sahota (Hacker en résidence chez Voxel51)

Une revue de papier CVPR et les notes de Cliff

Comprendre les environnements 3D constitue un défi crucial en vision par ordinateur, en particulier pour la robotique et les applications intérieures.

L'article, Open3DSG : Graphiques de scène 3D à vocabulaire ouvert à partir de nuages ​​de points avec des objets interrogeables et des relations ouvertes, présente une nouvelle approche pour prédire les graphiques de scène 3D à partir de nuages ​​de points dans un environnement de monde ouvert. La principale contribution de cet article est une méthode qui exploite les fonctionnalités de puissants modèles de langage de vision 2D (VLM) et de grands modèles de langage (LLM) pour prédire les graphiques de scène 3D de manière zéro. Cela permet d'interroger des classes d'objets à partir d'un vocabulaire ouvert et de prédire les relations inter-objets au-delà d'un ensemble d'étiquettes prédéfini.

Cette recherche va au-delà des limitations de...
[Courte citation de 8% de l'article original]