Figure 1 : Simulation de locomotion d’un robot humanoïde. La pose du robot est représentée par des points clés du corps suivis (marqueurs verts), tandis que les instances successives du robot illustrent son mouvement dans le temps. Les flèches directionnelles indiquent un mouvement commandé, démontrant l'utilisation d'un environnement de simulation basé sur la physique pour la formation et l'évaluation des politiques de locomotion et de contrôle des robots.
Le principal défi dans la création de systèmes d’IA physiques est la disponibilité des données. Les grands modèles de langage (LLM) et les modèles de langage de vision (VLM) peuvent être formés sur des ensembles de données à l'échelle Internet, mais la robotique et les systèmes d'IA physique n'ont pas le même avantage. Pour entraîner un système d’IA physique, un robot doit apprendre les conséquences de l’interaction avec le monde physique. Par exemple, il doit comprendre ce qui se passe lorsqu'une coupelle glisse, qu'un câble se plie ou qu'une pince entre en contact avec un objet sous le mauvais angle.
La collecte de ce type de données dans le monde réel est lente, coûteuse, risquée et parfois peu pratique en raison de la nature destructrice des tâches. La simulation fournit un pont en permettant aux développeurs de générer de grandes quantités de données photoréalistes et physiquement fondées. En téléopérant des robots en simulation et en faisant évoluer la collecte de données via le parallélisme GPU, les développeurs peuvent générer des milliers d'heures d'expérience robotique pour une fraction du coût de la collecte dans le monde réel.
Les simulateurs robotiques antérieurs étaient souvent utilisés principalement pour déboguer la géométrie, tester les contrôleurs ou visualiser le mouvement du robot. Aujourd’hui, la simulation fait désormais partie de la boucle de développement des modèles. Les équipes l'utilisent pour générer des ensembles de données de perception, former des politiques d'apprentissage par renforcement, collecter des démonstrations, augmenter les données du monde réel, comparer des modèles et tester des politiques par rapport à des scénarios rares ou contradictoires. Ce changement explique pourquoi les laboratoires de recherche industrielle et les groupes universitaires contribuent de plus en plus à ou développent des moteurs de simulation capables de répondre à ces nouvelles exigences.
Ces exigences peuvent être comprises à travers un paradigme à troi...
[Courte citation de 8% de l'article original]