L’IA peut-elle vraiment détecter l’IA ? (🎤 Thomas Jacquesson, Lucide AI)

Jérôme Colombain (0:00)

Monde numérique.

Thomas Jacquesson (0:01)

Si vous demandez à Claude ou ChatGPT si un texte a été produit par une IA ou pas, dans la réalité, il n'en a aucune idée.

Il n'est pas entraîné pour ça, il ne sait pas. Il se trompe 40-45 % du temps en général, donc une fois sur deux, c'est-à-dire fiabilité zéro.

Jérôme Colombain (0:29)

Comment savoir si un texte a été écrit par intelligence artificielle ? La question est au cœur de l'actualité en ce moment, avec la polémique autour du livre C'était ça ou mourir ? de l'écrivain québécois Tellison Aurélien.

Et c'est une question qui se pose aussi au quotidien pour des tas de documents professionnels ou dans le monde de l'enseignement. Alors, au fond, comment fonctionne un détecteur d'IA ? Et surtout, est-ce que c'est vraiment fiable ? C'est ce que j'ai voulu savoir en interrogeant l'un d'entre eux. Bonjour Thomas Jacquesson.

Thomas Jacquesson (0:57)

Bonjour Jérôme.

Jérôme Colombain (0:58)

Vous êtes président de Lucide AI qui se présente comme le détecteur d'IA made in France le plus fiable. Alors, qu'est-ce que ça permet d'abord ? Qu'est-ce que ça permet votre outil exactement ?

Thomas Jacquesson (1:11)

En fait, c'est très simple. L'idée, c'est de vérifier si un texte a été généré par une IA.

Tout ou en partie. Ou bien si c'est un humain qui est à l'origine du texte.

Jérôme Colombain (1:25)

D'accord, donc, on va sur le site, on fait un copier-coller, ou bien on upload le fichier. Et ensuite, c'est quasiment instantané, c'est ça ?

Thomas Jacquesson (1:34)

Oui, voilà, c'est l'affaire de quelques secondes.

On va montrer un verdict global pour l'ensemble du document ou du texte. Et ensuite, on va aussi, dans la version payante, surligner les différents passages qui sont considérés comme étant le plus marqués par une patte d'intelligence artificielle.

Jérôme Colombain (1:54)

Bon, alors vous me voyez arriver avec mes gros sabots. Avant de vous demander si c'est fiable, je vais vous demander d'abord comment ça marche. Est-ce que vous pouvez nous expliquer un peu comment ça fonctionne ?

Thomas Jacquesson (2:03)

Oui. Donc, je ne sais pas si vous avez fait le test vous-même, mais si vous demandez à Claude ou ChatGPT si un texte a été produit par une IA ou pas, dans la réalité, il n'en a aucune idée. Il n'est pas entraîné pour ça, il ne sait pas. Et nous, on a fait une petite étude, d'ailleurs, qu'on publiera prochainement. Mais il se trompe 40-45 % du temps en général. Donc, une fois sur deux, c'est-à-dire fiabilité zéro.

Donc, ça, c'est déjà pour tout ce qui est IA, on va dire, natif.

Jérôme Colombain (2:40)

C'est-à-dire, vous voulez dire quand on demande à l'IA si un texte a été écrit par l'IA, quoi ?

Thomas Jacquesson (2:44)

Exactement.

Jérôme Colombain (2:46)

Même si ça a été écrit par lui-même ?

Thomas Jacquesson (2:49)

Oui. Enfin, s'il l'a en mémoire, il pourra toujours dire que voilà. Mais si je prends deux comptes différents que je fais créer le texte par un compte et que je le copy-colle dans l'autre compte, ça fonctionnera pas non plus. Donc, ce qu'ont fait les premiers détecteurs IA, et encore certains aujourd'hui, c'est qu'ils ont créé en fait des sortes de fichiers de règles en se basant, en analysant en fait quantité de textes générés par des IA. C'est vrai que souvent on peut retrouver des façons de faire, des façons de rédiger, de s'exprimer de l'IA.

Il y a deux exemples assez populaires, il y a le tiré quadratin, le M-dash en anglais.

Jérôme Colombain (3:31)

C'est ce tiré qui est à mi-hauteur et qui est plus long même que ce qu'on fait manuellement.

Thomas Jacquesson (3:36)

Exactement.

Il est vrai que c'est très utilisé par les IA. Il y a un autre exemple, c'est dans la manière de s'exprimer le ce n'est pas ci, c'est ça. Toujours en essayant de faire des comparaisons, ce que ça n'est pas, ce que c'est. Ce genre de phrase-là, c'est très IA. Donc les premiers détecteurs qui étaient relativement fiables, on en parlera après, faisaient ça en fait. Ils soumettaient plein de règles et en se basant sur ces règles, on était en mesure de plus ou moins dire si un texte était de IA. Ce que font les meilleurs détecteurs aujourd'hui, en fait, on entraîne une IA avec des centaines de milliers de textes tout en connaissant à chaque fois l'origine du texte. Donc on lui dit ce texte c'est de IA, ce texte c'est humain, ce texte c'est IA, ce texte c'est l'humain. En faisant ça des centaines de milliers de fois, on arrive finalement à entraîner une IA de sorte à ce qu'elle soit assez fiable. On en parlera juste après.