Agrandir / Une image générée par l’IA de James Madison écrivant la Constitution américaine à l’aide de l’IA.
Mi-journée / Benj Edwards
Si vous insérez le document juridique le plus important des États-Unis, la Constitution américaine, dans un outil conçu pour détecter le texte écrit par des modèles d’IA comme ChatGPT, il vous dira que le document a presque certainement été écrit par l’IA. Mais à moins que James Madison ne soit un voyageur temporel, cela ne peut pas être le cas. Pourquoi les outils de détection d’écriture d’IA donnent-ils des faux positifs ? Nous avons parlé à plusieurs experts – et au créateur du détecteur d’écriture AI GPTZero – pour le savoir.
Parmi les reportages de professeurs trop zélés qui ont repoussé une classe entière en raison de soupçons d’utilisation d’outils d’écriture d’IA et d’enfants faussement accusés d’utiliser ChatGPT, l’IA générative a l’éducation en émoi. Certains pensent que cela représente une crise existentielle. Les enseignants qui s’appuient sur des méthodes pédagogiques développées au cours du siècle dernier se sont efforcés de maintenir le statu quo – la tradition de s’appuyer sur l’essai comme outil pour évaluer la maîtrise d’un sujet par les élèves.
Aussi tentant qu’il soit de s’appuyer sur des outils d’IA pour détecter l’écriture générée par l’IA, les preuves jusqu’à présent ont montré qu’ils ne sont pas fiables. En raison de faux positifs, les détecteurs d’écriture AI tels que GPTZero, ZeroGPT et OpenAI’s Text Classifier ne sont pas fiables pour détecter le texte composé par de grands modèles de langage (LLM) comme ChatGPT.
-
Une capture d’écran virale d’avril 2023 montrant GPTZero disant : “Votre texte sera probablement entièrement écrit par l’IA” lorsqu’il sera alimenté par une partie de la Constitution américaine.
Ars Technica
-
Lorsqu’il est alimenté par une partie de la Constitution américaine, ZeroGPT dit : “Votre texte est généré par AI/GPT”.
Ars Technica
-
Lorsqu’il est alimenté avec une partie de la Constitution américaine, le classificateur de texte d’OpenAI dit : “Le classificateur considère que le texte n’est pas clair s’il est généré par l’IA.”
Ars Technica
Si vous alimentez GPTZero une section de la Constitution américaine, il est dit que le texte est “susceptible d’être entièrement écrit par l’IA”. Plusieurs fois au cours des six derniers mois, des captures d’écran d’autres détecteurs d’IA montrant des résultats similaires sont devenues virales sur les réseaux sociaux, inspirant la confusion et de nombreuses blagues sur les pères fondateurs étant des robots. Il s’avère que la même chose se produit avec les sélections de La Bible, qui apparaissent également comme étant générées par l’IA.
Publicité
Pour expliquer pourquoi ces outils font des erreurs aussi évidentes (et renvoient souvent des faux positifs), nous devons d’abord comprendre comment ils fonctionnent.
Comprendre les concepts derrière la détection de l’IA
Différents détecteurs d’écriture d’IA utilisent des méthodes de détection légèrement différentes, mais avec une prémisse similaire : il existe un modèle d’IA qui a été formé sur un grand corps de texte (composé de millions d’exemples d’écriture) et un ensemble de règles supposées qui déterminent si l’écriture est plus susceptibles d’être générés par l’homme ou l’IA.
Par exemple, au cœur de GPTZero se trouve un réseau de neurones formé sur “un vaste corpus diversifié de textes écrits par l’homme et générés par l’IA, avec un accent sur la prose anglaise”, selon la FAQ du service. Ensuite, le système utilise des propriétés comme “la perplexité” et la rafale” pour évaluer le texte et faire sa classification.
Bonnie Jacobs/Getty Images
Dans l’apprentissage automatique, la perplexité est une mesure de l’écart entre un texte et ce qu’un modèle d’IA a appris au cours de sa formation. Comme l’a dit le Dr Margaret Mitchell de la société d’intelligence artificielle Hugging Face à Ars, “la perplexité est fonction de” à quel point ce langage est-il surprenant basé sur ce que j’ai vu? “”
Ainsi, l’idée derrière la mesure de la perplexité est que lorsqu’ils écrivent du texte, les modèles d’IA comme ChatGPT vont naturellement atteindre ce qu’ils connaissent le mieux, qui provient de leurs données de formation. Plus la sortie est proche des données d’apprentissage, plus la cote de perplexité est faible. Les humains sont des écrivains beaucoup plus chaotiques – ou du moins c’est la théorie – mais les humains peuvent aussi écrire avec une faible perplexité, surtout lorsqu’ils imitent un style formel utilisé en droit ou certains types d’écriture académique. En outre, bon nombre des expressions que nous utilisons sont étonnamment courantes.
Disons que nous devinons le mot suivant dans la phrase “Je voudrais une tasse de _____”. La plupart des gens rempliraient le blanc avec « eau », « café » ou « thé ». Un modèle de langue formé sur beaucoup de texte anglais ferait de même car ces phrases apparaissent fréquemment dans l’écriture anglaise. La perplexité de l’un de ces trois résultats serait assez faible car la prédiction est assez certaine.
