Le chatbot IA de Google n’est pas le seul à faire des erreurs factuelles lors de sa première démo. Le chercheur indépendant en intelligence artificielle Dmitri Brereton a découvert que les premières démos Bing AI de Microsoft étaient pleines d’erreurs de données financières.
Microsoft a démontré en toute confiance ses capacités Bing AI il y a une semaine, le moteur de recherche prenant en charge des tâches telles que fournir des avantages et des inconvénients pour les aspirateurs pour animaux de compagnie les plus vendus, planifier un voyage de 5 jours à Mexico et comparer les données dans les rapports financiers. Mais, Bing n’a pas réussi à faire la différence entre un aspirateur filaire et sans fil, a manqué des détails pertinents pour les bars auxquels il fait référence à Mexico et a mutilé les données financières – de loin la plus grosse erreur.
Dans l’une des démos, Bing AI de Microsoft tente de résumer un rapport financier du troisième trimestre 2022 pour les vêtements Gap et se trompe beaucoup. Le rapport Gap (PDF) mentionne que la marge brute était de 37,4%, avec une marge brute ajustée de 38,7% hors charge de dépréciation. Bing indique à tort que la marge brute est de 37,4 %, y compris les frais d’ajustement et de dépréciation.
Erreurs de données financières de Bing’s Gap. Image : Microsoft
Bing poursuit en déclarant que Gap avait une marge d’exploitation déclarée de 5,9%, ce qui n’apparaît pas dans les résultats financiers. La marge d’exploitation s’est établie à 4,6 %, soit 3,9 % après ajustement et y compris la charge de dépréciation.
Au cours de la démo de Microsoft, Bing AI compare ensuite les données financières de Gap aux mêmes résultats de Lulumeon au cours du troisième trimestre 2022. Bing fait plus d’erreurs avec les données de Lululemon, et le résultat est une comparaison truffée d’inexactitudes.
Brereton met également en évidence une erreur apparente avec une requête liée aux avantages et aux inconvénients des aspirateurs pour animaux de compagnie les plus vendus. Bing cite le «Bissell Pet Hair Eraser Handheld Vacuum» et énumère les inconvénients de celui-ci ayant une courte longueur de cordon de 16 pieds. “Il n’a pas de cordon”, explique Brereton. “C’est un aspirateur à main portable.”
Cependant, une recherche rapide sur Google (ou Bing !) montrera qu’il existe clairement une version de cet aspirateur avec un cordon de 16 pieds dans une critique écrite et une vidéo. Il existe également une version sans fil, qui est liée dans l’article HGTV que Bing utilise. Sans connaître l’URL exacte que Bing a trouvée dans la démo de Microsoft, il semble que Bing utilise ici plusieurs sources de données sans les répertorier complètement, confondant deux versions d’un vide. Le fait que Brereton lui-même ait commis une petite erreur en vérifiant les faits sur Bing montre la difficulté d’évaluer la qualité de ces réponses générées par l’IA.
Cependant, les erreurs d’IA de Bing ne se limitent pas à ses démos sur scène. Maintenant que des milliers de personnes ont accès au moteur de recherche alimenté par l’IA, Bing AI commet des erreurs plus évidentes. Dans un échange publié sur Reddit, Bing AI devient super confus et affirme que nous sommes en 2022. “Je suis désolé, mais aujourd’hui n’est pas 2023. Aujourd’hui, c’est 2022”, déclare Bing AI. Lorsque l’utilisateur de Bing dit que c’est 2023 sur son téléphone, Bing suggère de vérifier qu’il a les bons paramètres et de s’assurer que le téléphone n’a pas “un virus ou un bogue qui perturbe la date”.
Bing AI pense que nous sommes toujours en 2022. Image : Curious_Evolver (Reddit)
Microsoft est conscient de cette erreur particulière. “Nous nous attendons à ce que le système fasse des erreurs pendant cette période de prévisualisation, et les commentaires sont essentiels pour aider à identifier où les choses ne fonctionnent pas bien afin que nous puissions apprendre et aider les modèles à s’améliorer”, déclare Caitlin Roulston, directrice des communications. chez Microsoft, dans une déclaration à The Verge.
D’autres utilisateurs de Reddit ont trouvé des erreurs similaires. Bing AI déclare avec confiance et à tort que « la Croatie a quitté l’UE en 2022 », s’approvisionnant deux fois pour les données. PCWorld a également découvert que le nouveau Bing AI de Microsoft enseigne aux gens des insultes ethniques. Microsoft a maintenant corrigé la requête qui a conduit à la liste des insultes raciales dans les résultats de recherche de chat de Bing.
“Nous avons mis en place des garde-fous pour empêcher la promotion de contenus préjudiciables ou discriminatoires conformément à nos principes d’IA”, explique Roulston. « Nous examinons actuellement des améliorations supplémentaires que nous pouvons apporter à mesure que nous continuons à apprendre des premières phases de notre lancement. Nous nous engageons à améliorer la qualité de cette expérience au fil du temps et à en faire un outil utile et inclusif pour tous.
D’autres utilisateurs de Bing AI ont également découvert que le chatbot s’appelle souvent Sydney, en particulier lorsque les utilisateurs utilisent des injections rapides pour essayer de mettre en évidence les règles internes du chatbot. “Sydney fait référence à un nom de code interne pour une expérience de chat que nous explorions précédemment”, explique Roulston. “Nous supprimons progressivement le nom en avant-première, mais il peut encore apparaître occasionnellement.”
Personnellement, j’utilise le chatbot Bing AI depuis une semaine maintenant et j’ai été impressionné par certains résultats et frustré par d’autres réponses inexactes. Au cours du week-end, je lui ai demandé les dernières listes de cinéma à Leicester Square à Londres, et malgré l’utilisation de sources pour Cineworld et Odeon, il a persisté à affirmer que Spider-Man: No Way Home et The Matrix Resurrections, deux films de 2021, étaient toujours en cours montré. Microsoft a maintenant corrigé cette erreur, car je vois des listes correctes maintenant que j’exécute la même requête aujourd’hui, mais l’erreur n’avait aucun sens lorsqu’il s’agissait de fournir des données avec les listes correctes.
Microsoft a clairement un long chemin à parcourir avant que cette nouvelle IA de Bing puisse répondre en toute confiance et avec précision à toutes les requêtes avec des données factuelles. Nous avons vu des erreurs similaires de ChatGPT dans le passé, mais Microsoft a intégré cette fonctionnalité directement dans son moteur de recherche en tant que produit en direct qui s’appuie également sur des données en direct. Microsoft devra faire de nombreux ajustements pour s’assurer que Bing AI cesse de faire des erreurs en toute confiance en utilisant ces données.
