Agrandir / L’IA de MineDojo peut effectuer des tâches complexes dans Minecraft.
Nvidia
Un article décrivant MineDojo, l’agent d’IA généraliste de Nvidia qui peut effectuer des actions à partir d’invites écrites dans Minecraft, a remporté un Outstanding Datasets and Benchmarks Paper Award lors de la conférence NeurIPS (Neural Information Processing Systems) 2022, a révélé Nvidia lundi.
Pour entraîner le framework MineDojo à jouer à Minecraft, les chercheurs l’ont alimenté avec 730 000 vidéos YouTube Minecraft (avec plus de 2,2 milliards de mots transcrits), 7 000 pages Web extraites du wiki Minecraft, 340 000 messages Reddit et 6,6 millions de commentaires Reddit décrivant le gameplay de Minecraft.
À partir de ces données, les chercheurs ont créé un modèle de transformateur personnalisé appelé MineCLIP qui associe des clips vidéo à des activités Minecraft spécifiques dans le jeu. En conséquence, quelqu’un peut dire à un agent MineDojo quoi faire dans le jeu en utilisant un langage naturel de haut niveau, comme “trouver une pyramide du désert” ou “construire un portail inférieur et y entrer”, et MineDojo exécutera la série d’étapes nécessaire pour que cela se produise dans le jeu.
Exemples de tâches que MineDojo peut effectuer.
Nvidia
MineDojo vise à créer un agent flexible qui peut généraliser les actions apprises et les appliquer à différents comportements dans le jeu. Comme l’écrit Nvidia, “Alors que les chercheurs ont depuis longtemps formé des agents d’IA autonomes dans des environnements de jeux vidéo tels que StarCraft, Dota et Go, ces agents ne sont généralement spécialisés que dans quelques tâches. Les chercheurs de Nvidia se sont donc tournés vers Minecraft, le jeu le plus populaire au monde. , afin de développer un cadre de formation évolutif pour un agent généraliste, capable d’exécuter avec succès une grande variété de tâches ouvertes. »
Publicité
Nvidia
L’article primé, “MINEDOJO : Construire des agents incarnés ouverts avec des connaissances à l’échelle d’Internet”, a fait ses débuts en juin. Ses auteurs incluent Linxi Fan de Nvidia et Guanzhi Wang, Yunfan Jiang, Ajay Mandlekar, Yuncong Yang, Haoyi Zhu, Andrew Tang, De-An Huang, Yuke Zhu et Anima Anandkumar de diverses institutions universitaires.
Vous pouvez voir des exemples de MineDojo en action sur son site officiel, et le code pour MineDojo et MineCLIP est disponible sur GitHub.
