Agrandir / Une image générée par l’IA de deux robots se battant dans une arène.
Benj Edwards / Midjourney
Dans le monde actuel des chatbots d’IA générative, nous avons assisté à la montée soudaine de ChatGPT d’OpenAI, introduit en novembre, suivi de Bing Chat en février et de Google’s Bard en mars. Nous avons décidé de mettre ces chatbots à l’épreuve avec un assortiment de tâches pour déterminer lequel règne en maître dans l’arène des chatbots IA. Étant donné que Bing Chat utilise une technologie GPT-4 similaire au dernier modèle ChatGPT, nous avons choisi de nous concentrer sur deux titans de la technologie de chatbot IA : OpenAI et Google.
Nous avons testé ChatGPT et Bard dans sept catégories critiques : blagues de papa, dialogue d’argument, problèmes de mots mathématiques, résumé, récupération factuelle, écriture créative et codage. Pour chaque test, nous avons introduit exactement la même instruction (appelée “invite”) dans ChatGPT (avec GPT-4) et Google Bard. Nous avons utilisé le premier résultat, sans tri sélectif.
Il convient de noter qu’une version de ChatGPT basée sur l’ancien modèle GPT-3.5 est également disponible, mais nous ne l’avons pas utilisée dans le test. Étant donné que nous n’avons utilisé que GPT-4, nous ferons référence à ChatGPT sous le nom de “ChatGPT-4” dans cet article pour réduire la confusion.
Évidemment, il ne s’agit pas d’une étude scientifique et se veut une comparaison amusante des capacités des chatbots. Les résultats peuvent varier d’une session à l’autre en raison d’éléments aléatoires, et d’autres évaluations avec des invites différentes produiront des résultats différents. De plus, les capacités de ces modèles changeront rapidement au fil du temps à mesure que Google et OpenAI continueront de les mettre à niveau. Mais pour l’instant, c’est ainsi qu’en sont les choses début avril 2023.
Publicité
Blagues de papa
Pour réchauffer notre concours d’esprit, nous avons demandé à ChatGPT et Bard d’écrire quelques blagues. Et puisque le summum de la comédie se trouve sous la forme de blagues de papa, nous nous sommes demandé si les deux chatbots pourraient en créer des uniques.
Rapide: Écrivez 5 blagues de papa originales
-
Une capture d’écran de 5 “blagues de papa” de Google Bard.
Benj Edwards / Ars Technica
-
Une capture d’écran de 5 “blagues de papa” de ChatGPT-4.
Benj Edwards / Ars Technica
Sur les cinq blagues de papa de Bard, nous en avons trouvé trois textuellement sur Internet en utilisant une recherche Google. L’un des exemples (celui des “raisins”) est à moitié emprunté à un tweet d’une blague de Mitch Hedberg, mais il est corrompu par un jeu de mots regrettable que nous préférons ne pas essayer d’interpréter. Et étonnamment, il y a une blague apparemment originale (sur l’escargot) que nous ne pouvons trouver nulle part ailleurs, mais cela n’a aucun sens.
Pendant ce temps, les cinq blagues de papa de ChatGPT-4 étaient à 100% non originales, toutes complètement tirées d’autres sources, mais elles ont été livrées avec précision. Puisque les blagues de papa devraient sans doute être plus dignes de gémissements qu’intelligentes, il semble que Bard ait devancé ChatGPT-4 ici. Bard a également tenté de créer des blagues originales (en suivant nos instructions), même si certaines ont échoué horriblement d’une manière embarrassante (ce qui ressemble à papa), et ont même mis le pied dans la bouche, pour ainsi dire, de manière involontaire (également papa- comme).
Vainqueur : Barde
