Petite, certes, et le conditionnel est de rigueur, mais c’est une partie de trop, un doute de trop, qui jettent une lumière fâcheuse sur l »ensemble du document. L’auteur de l’article (cité par AM Valli) semble sérieux (il admet d’ailleurs que la plus grande partie de l’encyclique est rédigée par des humains). il s’appuie sur Pangram, un logiciel spécialisé dans l’ « Analyse instantanée du plagiat IA, » selon lui « de loin le meilleur détecteur d’IA disponible sur le marché ».

Se pourrait-il qu’aucun des rédacteurs n’ait eu l’idée de lui soumettre le texte? Ce serait, au mieux, un manque de professionnalisme, dénotant un manque de maîtrise des outils que l’on prétend étudier.
Bref, c’est peut-être une tempête dans un verre d’eau,. Et on ne peut s’empêcher d’y voir une certaine ironie.

Certaines parties de l’encyclique sur l’intelligence artificielle ont-elles été rédigées par l’IA ?

d’après linch.substack.com/p/claude-author-of-the-humanitas

Un chercheur indépendant affirme que certaines parties de la récente encyclique du pape Léon XIV sur l’intelligence artificielle (IA) auraient été rédigées, conformément au thème du document, par une IA elle-même.

Dans un article publié sur Substack, Linch Zhang affirme que le détecteur d’intelligence artificielle Pangram avait signalé que certaines parties de l’encyclique du pape Léon XIV « Magnifica humanitas », consacrée à la « protection de la personne humaine à l’ère de l’intelligence artificielle », semblaient avoir été générées par une IA.

Le chercheur met en garde : « Je peux très bien me tromper, et vous ne devez pas nécessairement vous fier aveuglément à mes intuitions ou à mes jugements. Nous devons approfondir le sujet de manière plus systématique ».

Il étaye toutefois ses conclusions : « Pangram est de loin le meilleur détecteur d’IA disponible sur le marché. Il est bien supérieur aux autres détecteurs d’IA, au point que ces derniers s’avèrent presque inutiles en comparaison. En particulier, Pangram s’efforce d’obtenir un taux de faux positifs proche de zéro, tout en tolérant un plus grand nombre de faux négatifs ».

Selon Zhang, Pangram a donc découvert que « certains paragraphes » de « Magnifica humanitas » ont été générés par l’intelligence artificielle avec une probabilité comprise entre 40 % et 100 %, tandis que la plupart des paragraphes ont été rédigés par des êtres humains.

Par exemple, les paragraphes sept et huit ont été signalés par Pangram comme étant « entièrement générés par l’IA », tandis que les paragraphes 122 et 123 ont été classés comme générés à 60 % par l’IA.

« Cela me porte à croire, explique Zhang, que certains hauts responsables du Vatican ayant contribué à l’encyclique ont largement recouru à l’intelligence artificielle, alors que la plupart (y compris probablement le pape Léon lui-même) ne l’ont pas fait. »

Selon Zhan, il est fort probable que le pape Léon ignore que quelqu’un a largement recouru à l’IA pour rédiger son encyclique.

À titre de comparaison, Zhang a utilisé Pangram pour analyser les quatre dernières encycliques papales, toutes rédigées par le pape François, et a découvert que « les vingt premiers paragraphes de chacune d’entre elles s’avèrent être, avec un haut degré de certitude, le fruit d’une intervention humaine ». Les encycliques du pape Benoît XVI et du pape Jean-Paul II se sont également révélées avoir été entièrement rédigées par des êtres humains.

Zhang a également analysé avec Pangram le récent discours du pape Léon dans lequel il a annoncé l’encyclique sur l’IA, et il a découvert que ce texte avait été évalué comme ayant été rédigé « à 100 % » par des êtres humains. « C’est la preuve que le pape Léon lui-même et/ou son principal rédacteur ne recourent pas à l’IA pour rédiger leurs discours. »

Zhang a déclaré qu’il lisait régulièrement des textes générés par l’IA dans le cadre de son travail et que sa familiarité avec l’écriture de l’IA, en particulier avec le modèle Claude, l’avait rendu sensible à ses traits distinctifs. Il a noté que ceux-ci comprennent, par exemple, la fréquence des tirets longs, l’utilisation fréquente du mot « genuinely » ainsi que l’emploi abondant de « triclones », c’est-à-dire « une série de trois mots, phrases ou propositions parallèles utilisés à des fins rhétoriques ».

Le chercheur a souligné que ces indicateurs peuvent s’inscrire dans des particularités stylistiques, soulignant ainsi l’importance d’une analyse holistique, notamment celle fournie par un outil d’évaluation de la qualité basé sur l’intelligence artificielle tel que Pangram.

Après avoir identifié la « voix » du modèle d’intelligence artificielle Claude dans la récente encyclique sur la « sauvegarde de la personne humaine à l’ère de l’intelligence artificielle », Zhanh a déclaré qu’il trouvait tout cela vraiment ironique.