Agrandir / Une illustration générée par l’IA de robots faisant de la science.
Ars Technica
Mardi, Meta AI a dévoilé une démo de Galactica, un grand modèle de langage conçu pour “stocker, combiner et raisonner sur les connaissances scientifiques”. Bien que destiné à accélérer la rédaction de littérature scientifique, les utilisateurs contradictoires exécutant des tests ont découvert que cela pouvait également générer des absurdités réalistes. Après plusieurs jours de critiques éthiques, Meta a mis la démo hors ligne, rapporte MIT Technology Review.
Les grands modèles de langage (LLM), tels que le GPT-3 d’OpenAI, apprennent à écrire du texte en étudiant des millions d’exemples et en comprenant les relations statistiques entre les mots. En conséquence, ils peuvent rédiger des documents convaincants, mais ces travaux peuvent également être truffés de mensonges et de stéréotypes potentiellement dangereux. Certains critiques appellent les LLM des “perroquets stochastiques” pour leur capacité à cracher du texte de manière convaincante sans en comprendre le sens.
Entrez Galactica, un LLM visant à écrire de la littérature scientifique. Ses auteurs ont formé Galactica sur “un corpus vaste et organisé de connaissances scientifiques de l’humanité”, comprenant plus de 48 millions d’articles, de manuels et de notes de cours, de sites Web scientifiques et d’encyclopédies. Selon l’article de Galactica, les chercheurs de Meta AI pensaient que ces prétendues données de haute qualité conduiraient à une sortie de haute qualité.
Agrandir / Une capture d’écran du site Web Galactica de Meta AI avant la fin de la démo.
Méta IA
À partir de mardi, les visiteurs du site Web de Galactica pourraient saisir des invites pour générer des documents tels que des revues de littérature, des articles wiki, des notes de cours et des réponses aux questions, selon des exemples fournis par le site Web. Le site a présenté le modèle comme “une nouvelle interface pour accéder et manipuler ce que nous savons de l’univers”.
Publicité
Alors que certaines personnes ont trouvé la démo prometteuse et utile, d’autres ont rapidement découvert que n’importe qui pouvait taper des invites racistes ou potentiellement offensantes, générant tout aussi facilement un contenu faisant autorité sur ces sujets. Par exemple, quelqu’un l’a utilisé pour créer une entrée wiki sur un document de recherche fictif intitulé “Les avantages de manger du verre pilé”.
Même lorsque la production de Galactica n’était pas offensante pour les normes sociales, le modèle pouvait attaquer des faits scientifiques bien compris, crachant des inexactitudes telles que des dates incorrectes ou des noms d’animaux, nécessitant une connaissance approfondie du sujet à attraper.
J’ai demandé à #Galactica certaines choses que je connais et je suis troublé. Dans tous les cas, c’était faux ou biaisé, mais ça sonnait juste et autoritaire. Je pense que c’est dangereux. Voici quelques-unes de mes expériences et mon analyse de mes préoccupations. (1/9)
– Michael Black (@Michael_J_Black) 17 novembre 2022
En conséquence, Meta a retiré la démo de Galactica jeudi. Par la suite, Yann LeCun, scientifique en chef de l’IA chez Meta, a tweeté : “La démo de Galactica est hors ligne pour le moment. Il n’est plus possible de s’amuser en l’utilisant à mauvais escient. Heureux ?”
L’épisode rappelle un dilemme éthique commun à l’IA : lorsqu’il s’agit de modèles génératifs potentiellement dangereux, est-ce au grand public de les utiliser de manière responsable, ou aux éditeurs des modèles d’empêcher les abus ?
L’endroit où la pratique de l’industrie se situe entre ces deux extrêmes variera probablement d’une culture à l’autre et à mesure que les modèles d’apprentissage en profondeur mûriront. En fin de compte, la réglementation gouvernementale pourrait finir par jouer un rôle important dans l’élaboration de la réponse.
