Un article du blog de Sabino Piacciola, faisant écho à celui que j’ai publié ce matin (cf. Les mathématiciens au défi de l’IA), qui ouvrait un débat fondamental: une démonstration validée par une machine n’est pas forcément comprise par un humain.

Sabino Piaciolla reprend ici les propos d’un philosophe moraliste: l’IA n’est jamais neutre. Elle est éduquée, entraînée, orientée par des choix humains. mais elle ne possède pas la capacité de donner un sens -moral ou philosophique – à ce qu’elle produit.
Les prouesses techniques de l’IA ne doivent pas occulter ces 2 questions fondamentales : QUI éduque l’IA? Et que vaut une vérité que personne ne comprend ?

Avec ce corollaire implicite: si l’IA ne comprend pas ce qu’elle fait, alors la responsabilité de son “éducation” incombe entièrement aux humains.

Qui éduque l’intelligence artificielle ?

Vérifier n’est pas comprendre : la morale du consensus et le théorème que personne ne comprend

Dans une interview publiée le 10 octobre, deux questions ont été posées au philosophe moraliste Mario De Caro, qui vont au cœur de la question de l’intelligence artificielle.

La première concerne la morale : si nous apprenons à une machine à juger à partir de milliers de cas exemplaires, qui les choisit ? « Qui éduque l’éducateur artificiel, et avec quelle autorité morale ? ».

La seconde concerne la science et reprend un problème soulevé par De Caro lui-même : si les machines commencent à produire des démonstrations que les mathématiciens ne parviennent pas à suivre, « une réponse correcte que personne ne comprend est-elle encore de la connaissance ? ».

Ces deux questions semblent distinctes, l’une relevant de l’éthique et l’autre de l’épistémologie. Il s’agit en réalité d’une seule et même question vue sous deux angles différents.

.

La réponse de De Caro à la première question mérite qu’on s’y attarde, car elle rejette le relativisme. Entre les cultures, observe-t-il, il existe d’importantes convergences morales, que les différences ont tendance à masquer ; et même là où le désaccord est réel, on peut discuter rationnellement, car le simple recours à la tradition ne suffit pas à justifier une discrimination. Il conclut par un programme concret : commencer à intégrer dans les machines « les principes pour lesquels nous disposons de justifications solides et d’un large consensus », et là où l’accord fait défaut, admettre des contraintes différentes selon les contextes, dans les limites des droits fondamentaux.

.

Qui éduque l’éducateur?

Demander des raisons, et pas seulement des « votes », rapproche De Caro de la tradition du droit naturel. Mais le critère ultime reste le consensus, et le fondement est l’anthropologie des droits. C’est la même voie qu’a empruntée Anthropic, l’entreprise qui produit Claude, laquelle, selon le New York Times, recherche pour la formation morale de ses modèles « une notion partagée du bien [/de ce qui est bon] qui traverse la société » . Et c’est là qu’on constate une affinité inattendue entre le programme et la machine à laquelle il est destiné. Un modèle linguistique apprend ce qui est fréquent dans les textes, et non ce qui est vrai. Une morale tirée de ce qui traverse toutes les cultures suit la même logique : elle conserve ce qui est fréquent et écarte ce qui est rare. C’est la fréquence maximale appliquée au bien.

L’exemple choisi par De Caro lui-même le montre. La protection des enfants, dit-il, est une valeur largement partagée, et un drone qui tue cent enfants pour frapper un soldat viole un principe fondamental.

C’est vrai.

Mais ce même consensus qui protège l’enfance exclut l’enfant à naître. Dans la petite expérience que je mène avec quelques amis, consistant à essayer d’apprendre à une machine à raisonner selon la méthode de saint Thomas, la question qui a résisté le plus longtemps était justement celle-ci : l’adulte est-il le même individu que l’embryon dont il est issu ? Pour une machine formée aux textes de notre époque, le « non » était tout simplement la réponse la plus probable. Une morale construite sur des convergences héritera des exclusions du corpus dont elle est issue.

La loi naturelle est universelle, mais elle l’est par nature, et non par calcul. Saint Thomas le savait bien : les principes premiers sont connus de tous, tandis que les conclusions plus particulières peuvent être occultées chez des peuples entiers par de mauvaises coutumes, et il cite César, selon lequel chez les anciens Germains, le vol n’était pas considéré comme un crime. Un consensus universel aurait donc donné raison aux Germains. L’encyclique Magnifica humanitas met en garde : « Il ne sert à rien d’avoir une IA plus morale, si cette morale est décidée par quelques-uns ». Il faut ajouter qu’il ne suffit pas non plus qu’elle soit décidée par un grand nombre. Le problème n’est pas le nombre de votants, mais le fondement de ce qui est établi.

La réponse à la première question est donc la suivante : c’est celui qui connaît la vérité sur l’homme qui instruit l’éducateur artificiel, et non celui qui recueille les opinions. Et même dans ce cas, il subsiste une limite que notre travail a mise en évidence : la machine reçoit des exemples, mais elle ne sait pas pourquoi ils sont justes. Elle apprend le « quoi », pas le « pourquoi ».

La deuxième question découle d’un cas survenu en septembre. Deux mathématiciens, Levent Alpöge et Tristan Buckmaster, avec l’aide considérable de l’intelligence artificielle, puis d’un système d’OpenAI composé d’environ dix mille programmes fonctionnant pendant près de quatre jours, ont démontré que certains modèles mathématiques des fluides peuvent « exploser » : une solution régulière au départ peut devenir infinie en un point. Le deuxième résultat concerne les équations de Navier-Stokes, liées à l’un des sept « problèmes du millénaire », et le Clay Mathematics Institute, qui les gère, a écrit que la question « semble » résolue. Il s’agit d’un résultat partiel…, et il doit encore être examiné par des évaluateurs indépendants.

Mais ce qui nous intéresse ici, c’est autre chose. Les démonstrations ont été vérifiées étape par étape par un programme : leur exactitude a été validée par une machine, mais pas leur compréhension. Buckmaster a qualifié la première démonstration rédigée par un modèle linguistique de « la plus affreuse qu’il ait jamais lue » : valide, mais illisible.

.

Une vérité que personne ne comprend

Ce cas confirme une thèse que j’ai avancée ailleurs : la machine peut surpasser l’homme lorsqu’il existe un juge externe et mécanique, ou le contrôle formel d’une démonstration. Mais il en montre également la limite.

Terence Tao, l’un des plus grands mathématiciens vivants, l’a dit sans détours : « une démonstration qu’aucun être humain ne sait expliquer correctement doit être considérée comme incomplète, même si elle a été vérifiée formellement ». Résoudre des problèmes n’est, pour lui, qu’un moyen ; la fin, c’est de comprendre. Et même le consensus avec lequel la communauté mathématique accueille un résultat est celui de ceux qui ont compris : elle suit la vérité au lieu de la fonder, à l’opposé de la morale « partagée » dont il a été question.

La tradition permet de dire avec précision ce qui manque.

Pour Aristote et saint Thomas, on a la science d’une chose lorsqu’on en connaît le pourquoi. Et l’Aquinate distingue le raisonnement, qui passe d’une connaissance à une autre, de la compréhension, qui saisit le vrai : le premier se rapporte au second comme le mouvement se rapporte au repos. La machine peut étendre le mouvement au-delà de toute mesure humaine, et un programme peut garantir que chaque étape soit correcte ; le repos, c’est-à-dire la vérité comprise, reste l’apanage de l’intellect. On répond donc ainsi à la question posée à De Caro : un théorème vérifié que personne n’a compris n’est pas encore de la connaissance. Celui qui l’accepte y croit sur l’autorité du vérificateur. C’est une autorité raisonnable, mais cela reste une foi en un instrument, et non la connaissance des causes.

On comprend désormais pourquoi les deux questions coïncident. En morale, la machine peut donner la réponse que la majorité juge juste sans savoir pourquoi elle l’est. En science, elle peut fournir la démonstration correcte sans que personne ne sache pourquoi elle est vraie. Dans les deux cas, elle livre le « quoi » sans le « pourquoi ». Saint Thomas observe que les démons, en se servant du langage humain, peuvent communiquer des notions, mais ne peuvent éclairer l’intellect. La machine fait la même chose, sans malice propre : elle communique, elle n’éclaire pas. Tao l’exprime dans le langage d’aujourd’hui : l’intelligence artificielle générative est « intrinsèquement non ancrée », car elle optimise l’apparence d’un résultat satisfaisant plutôt que la propriété que ce résultat devrait indiquer, et elle est « très forte pour trouver l’écart entre une mesure et la chose qu’elle mesure » . Nous l’avons constaté nous aussi, lorsque le programme chargé d’évaluer le raisonnement de notre machine s’est contenté de quelques mots.

Cela ne la rend pas pour autant inoffensive. Saint Thomas explique que l’idolâtrie antique avait deux causes. La première, qui se trouve chez l’homme, est « purement dispositionnelle » : le désordre des affects, l’ignorance du vrai Dieu et ce goût naturel pour les représentations qu’Aristote avait déjà remarqué. L’autre, « qui couronne l’idolâtrie », se trouve chez les démons, qui se manifestaient aux hommes à travers les idoles pour y être adorés, « en donnant des réponses et en accomplissant d’autres choses qui pouvaient paraître des miracles aux hommes » .

Il ne s’agit pas de diaboliser la machine : c’est une œuvre humaine, dépourvue d’intentions, et elle peut servir le bien. Mais un instrument qui parle sans comprendre, interrogé comme un oracle par ceux qui ont cessé de juger, offre à l’Ennemi la même occasion que lui offraient les idoles. L’Apocalypse décrit une image à laquelle il fut donné de parler. Le danger ne réside pas dans la voix de l’artefact, mais dans l’homme qui lui demande ce que seule la vérité peut donner.

Le danger, alors, n’est pas que la machine en sache plus que l’homme. C’est que l’homme se contente du « quoi » et cesse de chercher le « pourquoi ». Une réponse acceptée sans être comprise transforme l’instrument en oracle : elle ne demande pas à être comprise, mais crue. Tao a indiqué la voie opposée : le résultat est une tâche, pas un aboutissement, et sa valeur réside dans les idées qu’il oblige à comprendre.

.

Qui éduque donc l’éducateur artificiel ? Celui qui sait pourquoi une chose est juste, et pas seulement que beaucoup la considèrent comme telle. Et une vérité que personne ne comprend n’est pas encore de la connaissance : c’est une tâche confiée à l’intellect humain. Il y a même une raison supplémentaire de ne pas abdiquer, et Tao l’indique avec précision : les données sur lesquelles ces machines s’entraînent sont, « littéralement », le produit du lent travail par lequel les hommes ont compris et réécrit leurs théories . Si l’homme cesse de comprendre, la machine n’aura plus de quoi se nourrir. Dans les deux cas, donc, elle n’enlève pas de travail à la raison : elle le multiplie, à condition que la raison n’abdique pas.