Regardez cette démo Nvidia et imaginez parler réellement aux personnages du jeu AI

Image : Nvidia

Au Computex 2023 à Taipei, le PDG de Nvidia, Jensen Huang, vient de donner au monde un aperçu de ce que cela pourrait être lorsque le jeu et l’IA entrent en collision – avec un rendu graphique à couper le souffle d’un magasin de ramen cyberpunk où vous pouvez réellement parler au propriétaire.

Sérieusement, au lieu de cliquer sur les options de dialogue, il imagine que vous pouvez maintenir un bouton enfoncé, dire simplement quelque chose avec votre propre voix et obtenir une réponse d’un personnage de jeu vidéo. Nvidia l’appelle “un aperçu de l’avenir des jeux”.

Malheureusement, le dialogue réel laisse beaucoup à désirer – peut-être essayez GPT-4 ou Sudowrite la prochaine fois, Nvidia ?

Voici l’intégralité de la conversation que j’ai transcrite à la hâte :

Joueur : Salut Jin, comment vas-tu ?

Jin : Malheureusement pas si bon.

Comment venir?

Je m’inquiète du crime ici. Ça va mal ces derniers temps. Mon magasin de ramen a été pris entre deux feux.

Puis-je aider?

Si vous voulez faire quelque chose à ce sujet, j’ai entendu des rumeurs selon lesquelles le puissant seigneur du crime Kumon Aoki causerait toutes sortes de chaos dans la ville. Il est peut-être à l’origine de cette violence.

Je vais lui parler, où puis-je le trouver ?

J’ai entendu dire qu’il traînait dans les clubs de combat clandestins du côté est de la ville. Essayez là.

D’accord, j’y vais.

Fais attention, Kaï.

En regardant une seule vidéo d’une seule conversation, il est difficile de voir en quoi c’est mieux que de choisir dans un arbre de dialogue de PNJ – mais la partie impressionnante est que l’IA générative réagit à la parole naturelle. Espérons que Nvidia publiera la démo afin que nous puissions l’essayer nous-mêmes et obtenir des résultats radicalement différents.

Capture d’écran par Sean Hollister / The Verge

La démo a été conçue par Nvidia et son partenaire Convai pour aider à promouvoir les outils qui ont été utilisés pour la créer, en particulier une suite de middleware appelée Nvidia ACE (Avatar Cloud Engine) pour les jeux qui peuvent s’exécuter à la fois localement et dans le cloud. L’ensemble de la suite ACE comprend les outils NeMo de la société pour le déploiement de grands modèles de langage (LLM), Riva speech-to-text et text-to-speech, entre autres éléments.

La démo utilise plus que cela, bien sûr – elle est intégrée à Unreal Engine 5 avec beaucoup de lancer de rayons … et elle est visuellement époustouflante au point que la partie chatbot me semble terne en comparaison. À ce stade, nous avons simplement vu des dialogues beaucoup plus convaincants de la part des chatbots, même aussi banals et dérivés qu’ils peuvent parfois l’être.

Capture d’écran par Sean Hollister / The Verge Cliquez pour une capture d’écran plus grande.

Lors d’un pré-briefing Computex, Jason Paul, vice-président de Nvidia de la plate-forme GeForce, m’a dit que oui, la technologie peut s’adapter à plus d’un personnage à la fois et pourrait même théoriquement laisser les PNJ se parler – mais a admis qu’il n’avait pas réellement vu que testé.

Il n’est pas clair si un développeur adoptera l’intégralité de la boîte à outils ACE comme le tente la démo, mais STALKER 2 Heart of Chernobyl et Fort Solis utiliseront la partie que Nvidia appelle “Omniverse Audio2Face”, qui tente de faire correspondre l’animation faciale d’un personnage 3D à leur discours de l’acteur vocal.

Correction, 23 h 25 HE : C’est Jason Paul de Nvidia, et non Rev Lebaredian, qui a répondu à ma question. Je regrette l’erreur.