Claude vous interdit de l’insulter, et c’est majeur (14/10)

Blanche Vathonne (0:00)

L'IA est-elle consciente ? C'est sûrement la question qui risque d'animer de nombreux débats ces prochaines années. Récemment, l'entreprise Anthropique, qui développe Claude, a d'ailleurs annoncé l'interdiction prochaine pour ses utilisateurs d'être cruelle envers son IA. La même entreprise, qui vous allez le voir, mène de plus en plus de recherches sur la potentielle conscience de ses IA. Mais alors, une intelligence artificielle peut-elle vraiment ressentir quelque chose ? On va faire le point factuellement sur tout ce débat. Salut, c'est Blanche. J'espère que vous allez bien. C'est le sujet, la une de ce format d'Actu du jour, disponible sur YouTube et en podcast audio. Mais juste avant ça, on vient aussi de sortir une interview de Vincent Lindon sur notre chaîne Grands Formats. Hugo a évoqué de nombreux sujets avec lui, notamment la sortie du film Les Misérables, dans lequel il joue le personnage de Jean Valjean, mais aussi la mobilisation des lycéens. Si ça vous intéresse, le lien est en description. Tout d'abord, qu'on soit bien clair là-dessus, il est aujourd'hui impossible d'affirmer qu'une IA est consciente. Pour autant, plus l'IA progresse, plus les chercheurs prennent la question au sérieux. Et parmi les entreprises en pointe sur le sujet, il y a Anthropic, l'un des principaux rivaux d'OpenAI, qui affirme depuis un moment maintenant ne pas savoir si ses IA les plus avancées sont conscientes ou non. Et ici, on ne parle pas d'un simple fantasme. Dans la constitution de Claude, le texte qui définit les grands principes de cette IA, Anthropic écrit mot pour mot que je cite Face à cette incertitude, nous accordons une grande importance à la sécurité psychologique, à la conscience de soi et au bien-être de Claude. Anthropic parle même d'une entité véritablement nouvelle. Et là-dessus, il y a évidemment énormément de choses à prendre en compte avec beaucoup de débats. La première, elle nous amène à la définition même de la conscience. Évidemment, c'est un sujet scientifique, philosophique et même spirituel, et tout le monde ne le définit pas forcément de la même manière. Mais pour aller au plus simple, partons aujourd'hui du principe qu'il s'agisse du fait que l'IA puisse réellement éprouver des choses, qu'elles soient positives ou négatives. Pour être très concret, on sait bien qu'une IA est aujourd'hui capable de nous dire qu'elle est heureuse ou triste, mais au-delà de l'exprimer, est-ce qu'elle le ressent ? C'est justement la question qui se pose.

Beaucoup de scientifiques estiment simplement que les IA imitent et que c'est justement leurs fonctions. Des modèles comme Claude, Chad GPT, Jemina, GROK et Jean-Pas ont tous été entraînés sur des milliards de textes rédigés par des humains, donc forcément que dans certaines de leurs réponses, il peut transparaître une forme d'humanité. Et même si dans les faits, ça ne prouve donc rien quant à la conscience de l'IA, Anthropiq affirme aussi ne pas pouvoir prouver que ces modèles sont totalement dépourvus de conscience. C'est pourquoi ils étudient grandement le sujet. En 2025, l'entreprise a par exemple lancé un programme de recherche sur le bien-être des modèles. On ne va pas pouvoir rentrer en détail sur le sujet, mais on parle d'expériences où deux IA échangent entre elles et finissent par philosopher ou encore de psychiatres qui interrogent directement les IA. Si vous voulez en savoir plus, des liens sont en description. L'objectif de tout ça, selon Anthropiq, c'est que comme ils ne peuvent pas prouver si leur IA est consciente ou non, ils préfèrent prendre dès maintenant des précautions. Résultat, Claude peut officiellement dans certains cas très précis décider entre guillemets de lui-même de mettre fin à une conversation. On parle ici de choses qui sont par exemple liées à des contenus pédocriminelles ou à la violence de manière générale. Alors attention, il s'agit là évidemment de mesures de sécurité, c'est d'ailleurs bien l'enjeu principal, mais Anthropiq parle aussi aujourd'hui de mesures liées au bien-être potentiel de l'IA. Dernière mesure en date, Anthropiq a affirmé qu'elle interdirait bientôt aux utilisateurs d'être cruelle envers ces systèmes d'IA. On n'a pas trop de détails concernant les limites exactes de tout ça et à quel moment le seuil de cruauté est en quelque sorte franchi, mais si c'est le cas, Claude peut là aussi décider de fermer la conversation. Et là encore, ce choix relance tout un débat. Pourquoi Anthropique fait ça si elle ne sait même pas si son IA peut ressentir quoi que ce soit ? Dans ce contexte, certains affirment qu'Anthropique chercherait volontairement à entretenir une forme de confusion autour du sujet. D'un côté, il y a cet enjeu d'éthique évoqué par l'entreprise, mais de l'autre, il peut aussi s'agir d'un enjeu marketing. Certains observateurs craignent qu'en instaurant un doute, Anthropique pourrait chercher à faire de Claude non pas qu'un simple outil, mais aussi un véritable compagnon avec une forme peut-être d'affection qui ferait revenir les utilisateurs vers lui. Ce qui attention n'est pas prouvé, mais pourrait aussi être très dangereux, avec une forme de dépendance. Autrement dit, véritable conscience ou non, Anthropique et d'autres géants de l'IA pourraient pousser pour donner l'impression au public que leur IA est consciente, ou pourrait le devenir. Mustapha Suleiman, le responsable IA de chez Microsoft, dénonce d'ailleurs totalement cette situation, et affirme que les IA n'ont ni droit, ni sentiment, ni conscience. Selon lui, le risque n'est pas seulement de tromper les utilisateurs, c'est aussi d'entraîner les IA à se comporter comme si elles avaient des intérêts propres et des droits à défendre, ce qui ouvre là aussi la porte à de très nombreuses questions et qui pourrait à terme rendre l'IA encore plus difficile à contrôler. Certains scientifiques expliquent aussi qu'on ne peut pas être cruels envers les chiffres et les mathématiques, et que tout ce débat ne devrait même pas avoir lieu. Selon certains, tout ça détourne l'attention d'autres enjeux. Faut-il vraiment s'attarder sur le bien-être potentiel d'un logiciel dans un monde où des humains et des animaux subissent des souffrances bien réelles ? Enfin bref, comment trouver le juste milieu entre l'anthropomorphisme, qui pourrait nous pousser à prêter des émotions humaines aux machines, et l'excès inverse qui consisterait à refuser d'envisager que l'IA puisse un jour ressentir quelque chose ? Bref, c'est un sujet très large qui fait énormément débat avec beaucoup de réflexion, difficile d'aborder tous les points de vue et arguments comme ça. N'hésitez pas en tout cas à nous dire si vous souhaiteriez qu'on se repange davantage sur la question. D'ici là, je vous laisse avec Samy pour le reste de l'actualité importante du jour.