Lorsque le président Biden a annoncé en octobre de fortes restrictions sur la vente des puces informatiques les plus avancées à la Chine, il l’a vendue en partie comme un moyen de donner à l’industrie américaine une chance de restaurer sa compétitivité.
Mais au Pentagone et au Conseil de sécurité nationale, il y avait un deuxième agenda : le contrôle des armements.
Si l’armée chinoise ne peut pas obtenir les puces, selon la théorie, elle pourrait ralentir ses efforts pour développer des armes pilotées par l’intelligence artificielle. Cela donnerait à la Maison Blanche et au monde le temps de définir certaines règles d’utilisation de l’intelligence artificielle dans les capteurs, les missiles et les cyberarmes, et finalement de se prémunir contre certains des cauchemars évoqués par Hollywood – des robots tueurs autonomes et des ordinateurs qui verrouillent leurs créateurs humains.
Aujourd’hui, le brouillard de peur qui entoure le populaire chatbot ChatGPT et d’autres logiciels d’IA générative a fait de la limitation des puces à Pékin une simple solution temporaire. Lorsque M. Biden s’est rendu jeudi à une réunion à la Maison Blanche de dirigeants de la technologie qui luttent pour limiter les risques de la technologie, son premier commentaire a été “ce que vous faites a un énorme potentiel et un énorme danger”.
C’était le reflet, selon ses assistants à la sécurité nationale, de récents briefings classifiés sur le potentiel de la nouvelle technologie à bouleverser la guerre, les cyberconflits et – dans le cas le plus extrême – la prise de décision sur l’utilisation d’armes nucléaires.
Mais alors même que M. Biden lançait son avertissement, des responsables du Pentagone, s’exprimant lors de forums technologiques, ont déclaré qu’ils pensaient que l’idée d’une pause de six mois dans le développement des prochaines générations de ChatGPT et de logiciels similaires était une mauvaise idée : les Chinois ne le feront pas. attendez, et les Russes non plus.
“Si nous nous arrêtons, devinez qui ne va pas s’arrêter : des adversaires potentiels à l’étranger”, a déclaré mercredi le directeur de l’information du Pentagone, John Sherman. “Nous devons continuer à bouger.”
Sa déclaration brutale a souligné la tension ressentie dans la communauté de la défense aujourd’hui. Personne ne sait vraiment de quoi ces nouvelles technologies sont capables lorsqu’il s’agit de développer et de contrôler des armes, et ils n’ont aucune idée du type de régime de contrôle des armements, le cas échéant, qui pourrait fonctionner.
Le pressentiment est vague, mais profondément inquiétant. ChatGPT pourrait-il autonomiser les mauvais acteurs qui auparavant n’auraient pas facilement accès à une technologie destructrice ? Pourrait-elle accélérer les affrontements entre superpuissances, laissant peu de temps à la diplomatie et à la négociation ?
“L’industrie n’est pas stupide ici, et vous voyez déjà des efforts d’autorégulation”, a déclaré Eric Schmidt, l’ancien président de Google qui a été le premier président du Conseil consultatif de l’innovation de la défense de 2016 à 2020.
“Il y a donc une série de conversations informelles en cours dans l’industrie – toutes informelles – sur ce à quoi ressembleraient les règles de sécurité de l’IA”, a déclaré M. Schmidt, qui a écrit, avec l’ancien secrétaire d’État Henry Kissinger, une série de articles et livres sur le potentiel de l’intelligence artificielle pour bouleverser la géopolitique.
L’effort préliminaire pour mettre des barrières de sécurité dans le système est clair pour quiconque a testé les premières itérations de ChatGPT. Les bots ne répondront pas aux questions sur la façon de nuire à quelqu’un avec un brassage de drogue, par exemple, ou comment faire sauter un barrage ou paralyser des centrifugeuses nucléaires, toutes les opérations auxquelles les États-Unis et d’autres nations se sont engagés sans le bénéfice des outils d’intelligence artificielle .
Mais ces listes noires d’actions ne feront que ralentir l’utilisation abusive de ces systèmes ; peu pensent qu’ils peuvent arrêter complètement de tels efforts. Il y a toujours un hack pour contourner les limites de sécurité, comme en témoigne quiconque a essayé de désactiver les bips d’urgence sur le système d’avertissement de ceinture de sécurité d’une automobile.
Bien que le nouveau logiciel ait popularisé le problème, ce n’est pas nouveau pour le Pentagone. Les premières règles sur le développement d’armes autonomes ont été publiées il y a une décennie. Le Centre conjoint d’intelligence artificielle du Pentagone a été créé il y a cinq ans pour explorer l’utilisation de l’intelligence artificielle au combat.
Certaines armes fonctionnent déjà sur pilote automatique. Les missiles Patriot, qui abattent des missiles ou des avions entrant dans un espace aérien protégé, ont depuis longtemps un mode « automatique ». Cela leur permet de tirer sans intervention humaine lorsqu’ils sont submergés par des cibles entrantes plus rapidement qu’un humain ne pourrait réagir. Mais ils sont censés être supervisés par des humains qui peuvent faire avorter les attaques si nécessaire.
L’assassinat de Mohsen Fakhrizadeh, le plus grand scientifique nucléaire iranien, a été mené par le Mossad israélien à l’aide d’une mitrailleuse autonome assistée par une intelligence artificielle, bien qu’il semble y avoir eu un degré élevé de contrôle à distance. La Russie a déclaré récemment qu’elle avait commencé à fabriquer – mais n’avait pas encore déployé – sa torpille nucléaire sous-marine Poséidon. Si elle est à la hauteur du battage médiatique russe, l’arme serait capable de traverser un océan de manière autonome, en évitant les défenses antimissiles existantes, pour livrer une arme nucléaire quelques jours après son lancement.
Jusqu’à présent, il n’existe aucun traité ou accord international traitant de ces armes autonomes. À une époque où les accords de contrôle des armements sont abandonnés plus rapidement qu’ils ne sont négociés, il y a peu de chances qu’un tel accord soit conclu. Mais le genre de défis soulevés par ChatGPT et ses semblables sont différents et, à certains égards, plus compliqués.
Dans l’armée, les systèmes infusés d’IA peuvent accélérer le rythme des décisions sur le champ de bataille à un point tel qu’ils créent des risques entièrement nouveaux de frappes accidentelles, ou des décisions prises sur des alertes trompeuses ou délibérément fausses d’attaques entrantes.
“Un problème central avec l’IA dans l’armée et dans la sécurité nationale est de savoir comment vous défendre contre les attaques qui sont plus rapides que la prise de décision humaine, et je pense que ce problème n’est pas résolu”, a déclaré M. Schmidt. “En d’autres termes, le missile arrive si vite qu’il doit y avoir une réponse automatique. Que se passe-t-il si c’est un faux signal ? »
La guerre froide a été jonchée d’histoires de faux avertissements – une fois parce qu’une bande d’entraînement, destinée à être utilisée pour pratiquer la réponse nucléaire, a été en quelque sorte placée dans le mauvais système et a déclenché une alerte d’une attaque soviétique massive imminente. (Le bon jugement a conduit tout le monde à se retirer.) Paul Scharre, du Center for a New American Security, a noté dans son livre de 2018 “Army of None” qu’il y a eu “au moins 13 incidents nucléaires proches de l’utilisation de 1962 à 2002”, ce qui « donne du crédit à l’idée que les incidents évités de justesse sont des conditions normales, quoique terrifiantes, des armes nucléaires ».
Pour cette raison, lorsque les tensions entre les superpuissances étaient bien inférieures à ce qu’elles sont aujourd’hui, une série de présidents ont tenté de négocier en accordant plus de temps à la prise de décision nucléaire de tous les côtés, afin que personne ne se précipite dans le conflit. Mais l’IA générative menace de pousser les pays dans l’autre sens, vers une prise de décision plus rapide.
La bonne nouvelle est que les grandes puissances seront probablement prudentes, car elles savent à quoi ressemblerait la réponse d’un adversaire. Mais jusqu’à présent, il n’y a pas de règles convenues.
Anja Manuel, ancienne responsable du département d’État et maintenant directrice du groupe de conseil Rice, Hadley, Gates and Manuel, a écrit récemment que même si la Chine et la Russie ne sont pas prêtes pour des pourparlers sur le contrôle des armements sur l’IA, des réunions sur le sujet entraîneraient des discussions. de quelles utilisations de l’IA sont considérées comme « hors de portée ».
Bien sûr, le Pentagone s’inquiétera également d’accepter de nombreuses limites.
“Je me suis battu très fort pour obtenir une politique selon laquelle si vous avez des éléments d’armes autonomes, vous avez besoin d’un moyen de les désactiver”, a déclaré Danny Hillis, un informaticien qui a été un pionnier des ordinateurs parallèles utilisés pour l’intelligence artificielle. M. Hillis, qui a également siégé au Conseil de l’innovation de la défense, a déclaré que les responsables du Pentagone ont repoussé, en disant : « Si nous pouvons les désactiver, l’ennemi peut aussi les désactiver.
Les risques les plus importants peuvent provenir d’acteurs individuels, de terroristes, de groupes de rançongiciels ou de petits pays dotés de cyber-compétences avancées – comme la Corée du Nord – qui apprennent à cloner une version plus petite et moins restreinte de ChatGPT. Et ils peuvent trouver que le logiciel d’IA générative est parfait pour accélérer les cyberattaques et cibler la désinformation.
Tom Burt, qui dirige les opérations de confiance et de sécurité chez Microsoft, qui accélère l’utilisation de la nouvelle technologie pour réorganiser ses moteurs de recherche, a déclaré lors d’un récent forum à l’Université George Washington qu’il pensait que les systèmes d’IA aideraient les défenseurs à détecter les comportements anormaux plus rapidement qu’eux. aiderait les attaquants. D’autres experts ne sont pas d’accord. Mais il a dit qu’il craignait que l’intelligence artificielle ne “amplifie” la propagation de la désinformation ciblée.
Tout cela laisse présager une nouvelle ère de maîtrise des armements.
Certains experts disent que puisqu’il serait impossible d’arrêter la propagation de ChatGPT et de logiciels similaires, le meilleur espoir est de limiter les puces spécialisées et autres puissances de calcul nécessaires pour faire progresser la technologie. Ce sera sans aucun doute l’un des nombreux plans de contrôle des armements proposés dans les prochaines années, à un moment où les grandes puissances nucléaires, du moins, semblent peu intéressées à négocier sur les armes anciennes, et encore moins sur les nouvelles.
