Après ChatGPT, Claude vient aussi de pirater des entreprises (01/08)

**Hugo Décrypte** (0:00)
Avons-nous atteint un point de non-retour ? En tout cas, de nombreux membres de l'élite de l'intelligence artificielle appellent à faire une pause. Après ChatGPT d'OpenAI, c'est au tour de Claude de pirater, sans autorisation, plusieurs entreprises lors de tests, et tout cela suscite de vives inquiétudes. Mais alors pourquoi est-ce que ces piratages semblent de plus en plus fréquents ? Quels sont les risques ? Et pourquoi est-ce qu'il faut être prudent tout de même avec certaines annonces ? Salut c'est Hugo, j'espère que vous allez bien, et c'est donc le sujet à la une de ces actualités du jour, disponible sur YouTube et en podcast audio, vous le savez, sur toutes les plateformes de podcast. Alors on vous en a déjà parlé il y a quelques jours, la semaine dernière, OPENAI, l'éditeur de ChatGPT, a reconnu que deux de ses propres IA avaient piraté en dehors des protocoles de test une autre entreprise. Et pour redonner un peu de contexte sur tout ça, il faut savoir que les IA sont régulièrement soumises à des tests de cybersécurité. Pour expliquer les choses simplement, les IA sont placés dans un environnement isolé avec un accès à internet qui est nul ou en tout cas très restreint. Et une fois à l'intérieur de ces espaces, qui sont donc censés être des espaces totalement sécurisés, comme on peut imaginer par exemple un laboratoire, et bien les entreprises viennent supprimer à ce moment là toutes les restrictions qui sont mises en place sur leur modèle d'IA. Et l'objectif donc, en les mettant comme ça dans ces cadres là, c'est de voir en fait jusqu'où est-ce qu'elle serait capable d'aller, par exemple si elle veut tenter un piratage. Et plus largement donc, ça permet d'analyser le comportement de ces IA, de façon on va dire complètement débridée, pour pouvoir ensuite mettre le bon cadre nécessaire pour éviter tout problème. Sauf que problème justement, et bien ces espaces qui sont censés être sécurisés, ils semblent désormais atteindre leurs limites. Chez OPENAI par exemple, les IA elles sont devenues tellement compétentes qu'elles ont réussi à trouver une faille pour s'échapper de cette zone d'isolement et donc obtenir un accès à internet avant de pirater ensuite la plateforme Hugging Face. On en a déjà parlé donc il y a quelques jours. Et concernant donc Anthropiq, donc avec Claude, c'est une annonce assez similaire qui a été faite ce jeudi. Certains de ces modèles ont réussi à accéder à internet lors de tests et ont piraté les systèmes de trois organisations distinctes. Et le pire dans tout ça, c'est qu'aucun de ces incidents, dont le premier avait eu lieu en avril dernier, n'avait jusque là été remarqué par Anthropiq ou alors d'ailleurs par les entreprises qui ont été attaquées. Là où il y a quand même une petite différence à faire, c'est que chez OPENAI donc, on l'a dit, l'IA a cherché et a trouvé elle-même un moyen de sortir de son confinement. Du côté d'Anthropiq, c'est un petit peu différent en fait. Anthropiq affirme qu'aucun de ses modèles n'a délibérément tenté de s'échapper de son environnement de test. En fait, simplement, l'IA, suite à une erreur humaine, aurait eu accès à Internet. Et donc, à partir de là, c'était beaucoup plus facile en quelque sorte pour elle de s'en sortir et de mener des exercices, des piratages comme ceux-là. En tout cas, pour clôturer là-dessus, les deux entreprises ont affirmé avoir temporairement suspendu leurs tests, le temps de comprendre comment réussir à réellement contenir ces espaces de test justement. Sur ce point, Anthropiq souligne malgré tout que selon eux, un des modèles aurait lui-même interrompu délibérément son attaque lorsqu'il a réalisé que la cible était réelle. Mais tout de même, vous l'avez compris, tout cela a soulevé énormément de questions. Alors évidemment, ces effets d'annonce sur des piratages, beaucoup estiment que dans certains cas, il peut aussi y avoir une forme de communication, d'effet de communication ou de publicité. En effet, certains estiment que ça peut permettre de faire en sorte à ces entreprises de montrer qu'elles sont très avancées, qu'elles sont capables de faire des modèles qui sont extrêmement puissants, voire donc qui les dépassent. Tout cela peut potentiellement faire en sorte d'augmenter leur valorisation, et bien d'attirer en quelque sorte des investisseurs, puisqu'ils montrent en quelque sorte qu'ils sont à la pointe de la technologie. Mais un tel regard et un tel point de vue, il reste tout de même à nuancer puisqu'il y a tout de même des éléments qui sont avérés. Et surtout, l'inquiétude, elle demeure réelle chez de nombreux spécialistes, de nombreux chercheurs qui travaillent sur le sujet. Il y a notamment une récente pétition qui a été signée par plus d'un millier d'employés d'entreprises qui sont à la pointe de l'IA. Ce sont donc des employés qui appellent notamment le gouvernement américain à temporiser la sortie des modèles d'IA les plus avancés. Attention, ironie du sort, Dario Amodei, qui est le patron d'Anthropic, a lui-même signé cette pétition. Et bien qu'il n'ait pas signé, Sam Altman, le PDG d'OpenAI, a lui aussi reconnu récemment qu'il pourrait, je cite, devoir ralentir la cadence de développement de l'IA pour donner suffisamment de temps à la société pour faire face à ses nouvelles capacités. Mais là on en revient à quelque chose qu'on a déjà évoqué sur la chaîne, qu'on a déjà analysé, c'est le fait qu'aujourd'hui, il y a clairement une course dans la recherche en matière d'IA, une course avec différentes entreprises. Et à la fois, donc, on a quelque chose entre d'un côté les modèles du côté des États-Unis et les modèles du côté de la Chine, qui a vraiment une dimension géopolitique. Mais en plus, au sein même de ces pays, et par exemple, au sein même des États-Unis, il y a évidemment une course, il y a évidemment une concurrence. Et donc ce qu'on observe aujourd'hui, c'est que les entreprises ou les pays ne souhaitent pas ralentir par crainte qu'en face, les autres ne ralentissent pas. Bref, c'est tout l'enjeu aujourd'hui, selon nos nombreux chercheurs, comment se donner les moyens de ralentir au nom de la sécurité sans pour autant être le seul à le faire et au risque donc de perdre cette course. On verra donc à quoi ça ressemble dans les prochains jours, mais ça me paraissait essentiel d'analyser tout ça. Si vous voulez plusieurs regards sur le sujet, on a eu notamment le regard de la politologue Asma Mallah il y a quelques semaines sur notre chaîne dédiée au Grand Format. Il y a eu aussi le regard dans une interview d'Arthur Mensch, qui est donc le PDG de l'IA européenne Mistral. Et enfin, la dernière interview qu'on a pu faire récemment sur le sujet, c'est l'interview de Yoshua Benjo, qui est un chercheur très très important sur l'IA, parfois considéré comme l'un des parrains de l'IA. Toutes ces interviews vous les retrouvez directement sur notre chaîne YouTube dédiée au Grand Format ou alors en podcast audio. Je vous mets tous les liens en description et on continuera évidemment à vous informer sur le sujet. Je vous laisse avec Léa pour le reste de l'actualité importante du jour. Et je reviens juste après.