Grabette : un système ouvert d'enregistrement des données de manipulation de robots. Et construisez ensemble un ensemble de données partagé.

Enregistrez vos propres tâches de manipulation en quelques minutes avec une pince portative, transformez-les automatiquement en ensembles de données prêts pour le robot et contribuez à développer un ensemble de données ouvert et collaboratif pour l'apprentissage des robots.

Le goulot d’étranglement n’est pas le modèle. Ce sont les données.

L'apprentissage des robots a un problème d'approvisionnement. Nous disposons d'architectures de politiques performantes (VLA basées sur des transformateurs, politiques de diffusion et de correspondance de flux, et même de modèles mondiaux) et de GPU pour les former. Ce qui nous manque, ce sont des données de manipulation volumineuses, diversifiées et réelles.

Téléopérer un robot pour le récupérer peut être coûteux et exigeant : tout d’abord, cela nécessite un robot. Et selon la méthode de téléopération, la collecte de données peut s'avérer fastidieuse pour l'utilisateur si elle prend des heures et implique d'importants défis matériels et logistiques. Cela est difficile à adapter à la grande variété de tâches et d’environnements requis.

Mais vous n’avez pas besoin d’un robot pour collecter les données du robot. Juste une main humaine, une pince, une caméra et un moyen de récupérer la trajectoire 6-DoF de ce que la main a fait. Cap...
[Courte citation de 8% de l'article original]