dans

Un drone d’IA pourrait avoir « traqué » et tué des soldats en Libye sans intervention humaine

Au moins un drone autonome exploité par intelligence artificielle (AI) a peut-être tué des personnes pour la première fois l’année dernière en Libye, sans qu’aucun humain n’ait été consulté avant l’attaque, selon un rapport de l’ONU.

Selon un rapport de mars du Groupe d’experts de l’ONU sur la Libye, des avions autonomes meurtriers pourraient avoir « traqué et engagé à distance » des soldats et des convois combattant pour le général libyen Khalifa Haftar. On ne sait pas exactement qui a déployé ces robots tueurs, bien que les restes d’une telle machine trouvée en Libye proviennent du drone Kargu-2, fabriqué par l’entrepreneur militaire turc STM.

« Les armes autonomes en tant que concept ne sont pas si nouvelles. Les mines terrestres sont essentiellement de simples armes autonomes – vous marchez dessus et elles explosent », Zachary Kallenborn, chercheur affilié au Consortium national pour l’étude du terrorisme et les réponses au terrorisme au L’Université du Maryland, College Park, a déclaré à 45Secondes.fr. « Ce qui est potentiellement nouveau ici, ce sont les armes autonomes incorporant l’intelligence artificielle », a ajouté Kallenborn, qui fait partie de la division des armes et technologies non conventionnelles du consortium.

En rapport: Les 22 armes militaires les plus étranges

Ces attaques ont peut-être eu lieu en mars 2020, à une époque où le gouvernement d’union nationale reconnu par l’ONU a chassé les forces de Haftar de la capitale libyenne, Tripoli.

« Les systèmes d’armes autonomes létaux ont été programmés pour attaquer des cibles sans nécessiter de connectivité de données entre l’opérateur et la munition : en effet, une véritable capacité » tirer, oublier et trouver «  », note le rapport.

le Kargu-2 est un drone à quatre rotors que la STM décrit comme un « système de munition flânant ». Une fois que son logiciel d’IA a identifié des cibles, il peut voler de manière autonome vers elles à une vitesse maximale d’environ 45 mph (72 km/h) et exploser avec une ogive perforante ou une ogive destinée à tuer du personnel non blindé. Bien que les drones aient été programmés pour attaquer s’ils perdaient la connexion avec un opérateur humain, le rapport ne dit pas explicitement que cela s’est produit.

Il n’est pas non plus clair si la Turquie a directement exploité le drone ou l’a simplement vendu au gouvernement d’accord national, mais de toute façon, cela défie un embargo sur les armes de l’ONU, qui empêche tous les États membres, comme la Turquie, et leurs citoyens de fournir des armes à la Libye, ajoute le rapport. L’interdiction des armes a été imposée après la violente répression libyenne contre les manifestants en 2011, qui a déclenché une guerre civile et la crise actuelle du pays.

Les forces de Haftar « n’étaient ni entraînées ni motivées pour se défendre contre l’utilisation efficace de cette nouvelle technologie et se retiraient généralement dans le désarroi », note le rapport. « Une fois en retraite, ils ont fait l’objet d’un harcèlement continu de la part des véhicules aériens de combat sans pilote et des systèmes d’armes autonomes meurtriers. »

Bien que le rapport n’affirme pas sans équivoque que ces drones autonomes ont tué quelqu’un en Libye, il l’implique fortement, a écrit Kallenborn dans un rapport dans le Bulletin des scientifiques atomiques. Par exemple, l’ONU a noté que les systèmes d’armes autonomes létaux ont contribué à « des pertes importantes » parmi les équipages des systèmes de missiles sol-air des forces de Haftar, a-t-il écrit.

Bien que beaucoup, dont Stephen Hawking et Elon Musk, aient appelé à l’interdiction des armes autonomes, « de telles campagnes ont généralement supposé que ces armes étaient toujours dans le futur », a déclaré Kallenborn. « S’ils sont sur le champ de bataille maintenant, cela signifie que les discussions sur les interdictions et les préoccupations éthiques doivent se concentrer sur le présent. »

« Je ne suis pas du tout surpris que cela se produise maintenant », a ajouté Kallenborn. « La réalité est que créer des armes autonomes de nos jours n’est pas si compliqué que ça. »

Aussi dangereuses que soient ces armes, « elles ne ressemblent pas au film » Terminator «  », a déclaré Kallenborn. « Ils sont loin de ce niveau de sophistication, qui pourrait prendre des décennies. »

Pourtant, les craintes concernant les armes autonomes font partie des préoccupations plus larges que les scientifiques et d’autres ont soulevées dans le domaine de l’IA.

« Les IA actuelles dépendent généralement fortement des données sur lesquelles elles sont formées », a déclaré Kallenborn. « Une machine ne sait généralement pas ce qu’est un chat ou un chien à moins qu’elle ne soit alimentée en images de chats et de chiens et que vous lui disiez lesquels sont des chats et des chiens. Il y a donc un risque important d’erreur dans ces situations si ces données d’entraînement sont incomplètes, ou les choses ne sont pas aussi simples qu’elles le paraissent. Un soldat peut porter un camouflage, ou un fermier un râteau, mais un fermier peut aussi porter du camouflage, et un soldat peut utiliser un râteau pour renverser une tourelle. »

Les logiciels d’IA manquent également souvent de ce que les humains considéreraient comme du bon sens. Par exemple, des informaticiens ont découvert que la modification d’un seul pixel sur une image peut amener un programme d’IA à conclure qu’il s’agit d’une image complètement différente, a déclaré Kallenborn.

« S’il est si facile de gâcher ces systèmes, que se passe-t-il sur un champ de bataille lorsque les gens se déplacent dans un environnement complexe ? » il a dit.

Kallenborn a noté qu’il y a au moins neuf questions clés lorsqu’il s’agit d’analyser les risques que les armes autonomes pourraient poser.

  • Comment une arme autonome décide-t-elle qui tuer ? Les processus décisionnels des programmes d’IA sont souvent un mystère, a déclaré Kallenborn.
  • Quel rôle les humains ont-ils ? Dans les situations où les gens surveillent les décisions prises par un drone, ils peuvent apporter des corrections avant que des erreurs potentiellement mortelles ne se produisent. Cependant, les opérateurs humains peuvent finalement faire confiance à ces machines jusqu’à la catastrophe, comme l’ont démontré plusieurs accidents avec des voitures autonomes, a déclaré Kallenborn.
  • De quelle charge utile dispose une arme autonome ? Les risques que posent ces armes augmentent avec le nombre de personnes qu’elles peuvent tuer.
  • Quel est le ciblage de l’arme ? L’IA peut se tromper lorsqu’il s’agit de reconnaître des cibles potentielles.
  • Combien d’armes autonomes sont utilisées ? Des armes plus autonomes signifient plus de possibilités d’échec, et les militaires explorent de plus en plus la possibilité de déployer des essaims de drones sur le champ de bataille. « L’armée indienne a annoncé qu’elle développait un essaim de 1 000 drones, fonctionnant de manière totalement autonome », a déclaré Kallenborn.
  • Où sont utilisées les armes autonomes ? Le risque que posent les drones augmente avec la population de la zone dans laquelle ils sont déployés et l’encombrement déroutant dans lequel ils se déplacent. La météo peut aussi faire une différence – une étude a révélé qu’un système d’IA utilisé pour détecter les obstacles sur les routes était précis à 92 % par temps clair mais à 58 % par temps brumeux, a déclaré Kallenborn.
  • L’arme est-elle bien testée ? Une arme autonome testée dans un climat pluvieux comme Seattle pourrait se comporter différemment dans la chaleur de l’Arabie saoudite, a noté Kallenborn.
  • Comment les adversaires se sont-ils adaptés ? Par exemple, la société d’IA OpenAI a développé un système qui pourrait classer une pomme comme Granny Smith avec une confiance de 85,6%, mais si quelqu’un scotché un morceau de papier qui disait « iPod » sur le fruit, il concluait avec une confiance de 99,7% que la pomme était un iPod, a déclaré Kallenborn. Les adversaires peuvent trouver des moyens similaires pour tromper les armes autonomes.
  • Dans quelle mesure les armes autonomes sont-elles largement disponibles ? S’ils sont largement disponibles, ils peuvent être déployés là où ils ne devraient pas l’être – comme l’a noté le rapport de l’ONU, la Turquie n’aurait pas dû introduire le drone Kargu-2 en Libye.

« Ce que je trouve le plus important sur l’avenir des armes autonomes, ce sont les risques liés aux essaims. À mon avis, les essaims de drones autonomes qui peuvent tuer des personnes sont potentiellement des armes de destruction massive », a déclaré Kallenborn.

Dans l’ensemble, « la réalité est que ce qui s’est passé en Libye n’est qu’un début », a déclaré Kallenborn. « Le potentiel de prolifération de ces armes est assez important. »

Publié à l’origine sur 45Secondes.fr.

45secondes est un nouveau média, n’hésitez pas à partager notre article sur les réseaux sociaux afin de nous donner un solide coup de pouce. 🙂