12 janvier 2023 19:45:54 IST
La santé mentale est un sujet plutôt délicat à traiter, même avec les meilleures intentions. La confiance, à la fois dans le conseiller et dans le processus, est très importante. Alors, comment l’intelligence artificielle et l’apprentissage automatique s’intègrent-ils dans tout cela ? Une plateforme américaine de santé mentale a récemment mené une expérience pour découvrir comment l’IA, en particulier ChatGPT, peut être utilisée dans le conseil. Malheureusement pour eux, l’expérience a donné naissance à plus de problèmes qu’elle n’en a résolus.
Koko, une plate-forme de santé mentale, a utilisé ChatGPT lors de séances de conseil avec plus de 4 000 utilisateurs, soulevant des préoccupations éthiques concernant l’utilisation de robots IA pour traiter la santé mentale.
Koko est une plateforme de santé mentale à but non lucratif qui relie les adolescents et les adultes qui ont besoin d’aide en santé mentale à des bénévoles via des applications de messagerie comme Telegram et Discord. Vendredi, le co-fondateur de Koko, Rob Morris, a annoncé sur Twitter que sa société avait mené une expérience pour fournir des conseils en santé mentale écrits par IA à 4 000 personnes sans les informer au préalable, pour voir si elles pouvaient discerner une différence.
Les critiques ont qualifié l’expérience de profondément contraire à l’éthique parce que Koko n’a pas obtenu le consentement éclairé des personnes cherchant des conseils.
Koko fonctionne via un serveur Discord, les utilisateurs se connectent au serveur Koko Cares et envoient des messages directs à un bot Koko qui pose plusieurs questions à choix multiples comme « Quelle est la pensée la plus sombre que vous ayez à ce sujet? ». Il partage ensuite les préoccupations d’une personne – écrites sous forme de quelques phrases de texte – de manière anonyme avec quelqu’un d’autre sur le serveur qui peut répondre de manière anonyme avec un court message qui lui est propre.
Au cours de l’expérience d’IA, qui s’appliquait à environ 30 000 messages, les volontaires fournissant de l’aide aux autres avaient la possibilité d’utiliser une réponse générée automatiquement par le grand modèle de langage GPT-3 d’OpenAI, le modèle sur lequel ChatGPT est basé, au lieu d’en écrire une eux-mêmes.
Après l’expérience, Morris a mis en place un fil sur Twitter, qui expliquait l’expérience qu’ils avaient menée. C’est là que les choses ont mal tourné pour Koko. Morris dit que les gens ont hautement évalué les réponses élaborées par l’IA jusqu’à ce qu’ils apprennent qu’elles ont été écrites par l’IA, ce qui suggère un manque clé de consentement éclairé pendant au moins une phase de l’expérience.
Morris a reçu de nombreuses réponses critiquant l’expérience comme contraire à l’éthique, citant des préoccupations concernant le manque de consentement éclairé et demandant si un comité d’examen institutionnel (IRB) avait approuvé l’expérience.
L’idée d’utiliser l’IA en tant que thérapeute est loin d’être nouvelle, mais la différence entre l’expérience de Koko et les approches thérapeutiques typiques de l’IA est que les patients savent généralement qu’ils ne parlent pas avec un vrai humain.
Dans le cas de Koko, la plateforme offrait une approche hybride où un intermédiaire humain pouvait prévisualiser le message avant de l’envoyer, au lieu d’un format de chat direct. Pourtant, sans consentement éclairé, les critiques affirment que Koko a violé les normes éthiques en vigueur conçues pour protéger les personnes vulnérables contre les pratiques de recherche nuisibles ou abusives.
45secondes est un nouveau média, n’hésitez pas à partager notre article sur les réseaux sociaux afin de nous donner un solide coup de pouce. ?
