Source: Vox.com. Titre de l'article original: The militarized AI risk that’s bigger than “killer robots” publié le 28 novembre 2023
Le risque de l’IA militarisée qui est plus grand que celui des « robots tueurs » - Les enjeux nucléaires d’une trop grande confiance dans l’IA.
La grande nouvelle du sommet entre le président Joe Biden et le dirigeant chinois Xi Jinping, ce sont définitivement les pandas. Dans vingt ans, si quelqu'un entend parler de cette réunion, ce sera probablement grâce à une plaque au zoo de San Diego. Autrement dit, s’il reste quelqu’un en vie pour visiter les zoos. Et si certains d’entre nous sont ici 20 ans plus tard, c’est peut-être à cause d’un autre point sur lequel les deux dirigeants se sont mis d’accord : les discussions sur les risques croissants de l’intelligence artificielle.
Avant le sommet, le South China Morning Post a rapporté que Biden et Xi annonceraient un accord interdisant l’utilisation de l’intelligence artificielle dans un certain nombre de domaines, notamment le contrôle des armes nucléaires. Aucun accord de ce type n’a été conclu – et aucun n’était attendu – mais les rapports publiés par la Maison Blanche et le ministère chinois des Affaires étrangères mentionnent la possibilité de négociations entre les États-Unis et la Chine sur l’IA. Après le sommet, dans ses remarques à la presse, Biden a expliqué que « nous allons réunir nos experts pour discuter des problèmes de risque et de sécurité associés à l’intelligence artificielle ».
Les responsables américains et chinois manquaient de détails sur les experts qui seraient impliqués ou sur les questions de risque et de sécurité qui seraient discutées. Il y a bien sûr de quoi discuter entre les deux parties. Ces discussions pourraient aller du risque dit « catastrophique » que représentent les systèmes d’IA qui ne sont pas alignés sur les valeurs humaines – pensez à Skynet dans les films Terminator – à l’utilisation de plus en plus courante de systèmes d’armes létaux autonomes, que les militants appellent parfois « robots tueurs ». .» Et puis il y a le scénario quelque part entre les deux : la possibilité d’utiliser l’IA pour décider d’utiliser des armes nucléaires, ordonner une frappe nucléaire et en exécuter une.
Il est cependant peu probable qu’une interdiction soit imposée – pour au moins deux raisons principales. Le premier problème est de définition. Il n’existe pas de définition claire et nette qui sépare le type d’intelligence artificielle déjà intégré dans la vie quotidienne qui nous entoure et celui qui nous inquiète à l’avenir. L’intelligence artificielle gagne déjà tout le temps aux échecs, au Go et à d’autres jeux. Il conduit des voitures. Il trie d’énormes quantités de données – ce qui m’amène à la deuxième raison pour laquelle personne ne veut interdire l’IA dans les systèmes militaires : elle est beaucoup trop utile. Les choses que l’IA sait déjà faire en milieu civil sont également utiles en temps de guerre, et elle a déjà été adoptée à ces fins. Alors que l’intelligence artificielle devient de plus en plus intelligente, les États-Unis, la Chine et d’autres se précipitent pour intégrer ces avancées dans leurs systèmes militaires respectifs, sans chercher de moyens de l’interdire. Il existe, à bien des égards, une course aux armements naissante dans le domaine de l’intelligence artificielle.
Parmi tous les risques potentiels, c’est le mariage de l’IA avec les armes nucléaires – notre première technologie véritablement révolutionnaire – qui devrait le plus retenir l’attention des dirigeants mondiaux. Les systèmes d’IA sont si intelligents, si rapides et susceptibles de devenir si centraux dans tout ce que nous faisons qu’il semble utile de prendre un moment pour réfléchir au problème. Ou, du moins, de réunir vos experts dans la salle avec leurs experts pour en parler.
Jusqu’à présent, les États-Unis ont abordé la question en parlant du développement « responsable » de l’IA. Le Département d’État promeut une « Déclaration politique sur l’utilisation militaire responsable de l’intelligence artificielle et de l’autonomie ». Il ne s’agit ni d’une interdiction ni d’un traité juridiquement contraignant, mais plutôt d’un ensemble de principes. Et bien que la déclaration énonce plusieurs principes d’utilisation responsable de l’IA, l’essentiel est qu’il y ait avant tout « une chaîne de commandement et de contrôle humaine responsable » pour prendre des décisions de vie ou de mort – souvent appelée « une chaîne de commandement et de contrôle humaine responsable » pour prendre des décisions de vie ou de mort. boucle." L’objectif est de répondre au risque le plus évident associé à l’IA, à savoir que les systèmes d’armes autonomes pourraient tuer des personnes sans discernement. Cela vaut pour tout, des drones aux missiles nucléaires, en passant par les bombardiers et les sous-marins.
Bien entendu, ce sont les missiles, les bombardiers et les sous-marins nucléaires qui constituent la plus grande menace potentielle. La première version de la déclaration identifiait spécifiquement la nécessité « d’un contrôle et d’une implication humaines pour toutes les actions essentielles à l’information et à l’exécution des décisions souveraines concernant l’emploi des armes nucléaires ». Cette formulation a en fait été supprimée du deuxième projet – mais l’idée de maintenir le contrôle humain reste un élément clé de la manière dont les responsables américains envisagent le problème. En juin, le conseiller à la sécurité nationale de Biden, Jake Sullivan, a appelé les autres États dotés d’armes nucléaires à s’engager à « maintenir un « humain dans le circuit » pour le commandement, le contrôle et l’emploi des armes nucléaires ». C’est certainement l’un des sujets dont discuteront les experts américains et chinois.
Il convient cependant de se demander si l’exigence d’une participation humaine résout réellement le problème, du moins en ce qui concerne l’IA et les armes nucléaires. De toute évidence, personne ne veut d’une machine apocalyptique entièrement automatisée. Même l’Union soviétique, qui a investi d’innombrables roubles dans l’automatisation d’une grande partie de son infrastructure de commandement et de contrôle nucléaire pendant la guerre froide, n’est pas allée jusqu’au bout. Le système dit de la « Main Morte » de Moscou repose toujours sur des êtres humains dans un bunker souterrain. Il est important d’avoir un être humain « au courant ». Mais cela n’a d’importance que si cet être humain exerce un contrôle significatif sur le processus. L’utilisation croissante de l’IA soulève des questions sur l’importance de ce contrôle et sur la nécessité d’adapter la politique nucléaire à un monde où l’IA influence la prise de décision humaine.
Une partie de la raison pour laquelle nous nous concentrons sur les êtres humains est que nous avons une sorte de croyance naïve selon laquelle, lorsqu’il s’agit de la fin du monde, un être humain hésitera toujours. Nous pensons qu’un être humain le verra toujours à travers une fausse alerte. Nous avons romancé la conscience humaine au point qu’elle constitue l’intrigue de nombreux livres et films sur la bombe, comme Crimson Tide. Et c'est l'histoire réelle de Stanislav Petrov, l'officier d'avertissement de missiles soviétique qui, en 1983, a vu ce qui ressemblait à une attaque nucléaire sur son écran d'ordinateur et a décidé qu'il s'agissait d'une fausse alerte – et ne l'a sans doute pas signalé. sauver le monde d'une catastrophe nucléaire.
Le problème est que les dirigeants du monde pourraient appuyer sur le bouton. L’idée même de la dissuasion nucléaire repose sur la démonstration, de manière crédible, que lorsque les choses seront en panne, le président ira jusqu’au bout. Petrov n’est pas un héros sans la possibilité très réelle que, s’il avait signalé l’alarme à la chaîne de commandement, les dirigeants soviétiques auraient pu croire qu’une attaque était en cours et riposter.
Ainsi, le véritable danger n’est pas que les dirigeants confient la décision d’utiliser des armes nucléaires à l’IA, mais qu’ils en viennent à s’appuyer sur l’IA pour ce que l’on pourrait appeler une « aide à la décision » – en utilisant l’IA pour guider leur prise de décision concernant les armes nucléaires. une crise de la même manière que nous comptons sur les applications de navigation pour nous indiquer des directions pendant que nous conduisons. C’est ce que faisait l’Union soviétique en 1983 : en s’appuyant sur un énorme ordinateur qui utilisait des milliers de variables pour avertir les dirigeants si une attaque nucléaire était en cours. Le problème, cependant, était le problème le plus ancien de l’informatique : les déchets entrent, les déchets sortent. L’ordinateur a été conçu pour dire aux dirigeants soviétiques ce qu’ils s’attendaient à entendre, pour confirmer leurs fantasmes les plus paranoïaques.
Les dirigeants russes s’appuient toujours sur les ordinateurs pour prendre des décisions. En 2016, le ministre russe de la Défense a montré à un journaliste un superordinateur russe qui analyse les données du monde entier, comme les mouvements de troupes, pour prédire d’éventuelles attaques surprises. Il a fièrement mentionné à quel point l’ordinateur était actuellement peu utilisé. Cet espace, ont clairement indiqué d’autres responsables russes, sera utilisé lorsque l’IA sera ajoutée.
Avoir un humain au courant est beaucoup moins rassurant si cet humain s’appuie fortement sur l’IA pour comprendre ce qui se passe. Parce que l’IA est formée sur nos préférences existantes, elle a tendance à confirmer les préjugés d’un utilisateur. C’est précisément la raison pour laquelle les médias sociaux, qui utilisent des algorithmes adaptés aux préférences des utilisateurs, tendent à être un vecteur si efficace de désinformation. L’IA est intéressante car elle imite nos préférences d’une manière tout à fait flatteuse. Et cela sans la moindre conscience.
Le contrôle humain n’est peut-être pas la protection que nous espérions dans une situation où les systèmes d’IA génèrent des informations erronées très convaincantes. Même si un leader mondial ne s’appuie pas explicitement sur des évaluations générées par l’IA, dans de nombreux cas, l’IA aura été utilisée à des niveaux inférieurs pour éclairer des évaluations présentées comme un jugement humain. Il est même possible que les décideurs humains deviennent trop dépendants des conseils générés par l’IA. Un nombre surprenant de recherches suggèrent que ceux d'entre nous qui dépendent des applications de navigation perdent progressivement les compétences de base associées à la navigation et peuvent se perdre si les applications échouent ; la même préoccupation pourrait s’appliquer à l’IA, avec des implications bien plus graves.
Les États-Unis disposent d’une importante force nucléaire, avec plusieurs centaines de missiles terrestres et maritimes prêts à tirer en quelques minutes seulement. Le temps de réaction rapide donne au président la possibilité de « lancer sur avertissement » – de lancer lorsque les satellites détectent des lancements ennemis, mais avant l’arrivée des missiles. La Chine est désormais en train d’imiter cette posture, avec des centaines de nouveaux silos de missiles et de nouveaux satellites d’alerte précoce en orbite. En période de tension, les systèmes d’alerte nucléaire ont subi de fausses alarmes. Le véritable danger est que l’IA puisse persuader un dirigeant qu’une fausse alerte est authentique.
Bien qu’avoir un humain dans la boucle fasse partie de la solution, lui donner un contrôle significatif nécessite de concevoir des postures nucléaires qui minimisent le recours aux informations générées par l’IA – comme l’abandon du lancement sur avertissement au profit d’une confirmation définitive avant des représailles.
Les dirigeants mondiaux vont probablement s’appuyer de plus en plus sur l’IA, que cela nous plaise ou non. Nous ne sommes pas plus en mesure d’interdire l’IA que nous ne pourrions interdire toute autre technologie de l’information, qu’il s’agisse de l’écriture, du télégraphe ou d’Internet. Au lieu de cela, ce dont les experts américains et chinois devraient discuter, c’est de savoir quelle sorte de posture nucléaire est logique dans un monde où l’IA est omniprésente.
