L’IA et l’équité

Votre enfant demande à un assistant quelque chose de proche de chez vous : d’où vient votre famille, un mot qu’emploie votre grand-mère, un épisode d’histoire arrivé à des gens comme vous. La réponse arrive vite, fluide, sans la moindre hésitation visible. Et elle est mince, ou légèrement à côté, ou écrite comme si la partie intéressante s’était passée ailleurs. Rien là-dedans n’est un mensonge. Cela ne parle simplement pas de vous.

Ce qui en fait une objection et non une plainte, c’est que cela découle de la façon dont la chose a été construite. Un modèle apprend à partir d’un tas énorme de textes et d’images produits par des personnes, et ce tas n’est pas une coupe représentative de l’humanité. C’est qui publiait, dans les langues qui dominent le web, pendant les décennies qui ont été numérisées, sur les sujets dont on a beaucoup écrit. Ce qui a été consigné en abondance devient l’idée que le modèle se fait du normal. Ce qui a été consigné à peine revient tout aussi mince.

Personne n’a décidé cela. Il n’y a pas de salle où quelqu’un aurait choisi d’écarter votre communauté, et le dire ne console guère, puisque la réponse que lit votre enfant est la même de toute façon. C’est ce qui rend l’inquiétude difficile à balayer : elle ne dépend de la mauvaise intention de personne, donc elle ne disparaît pas quand tout le monde est bien intentionné. Et elle pèse plus sur un enfant que sur vous. Vous, vous remarqueriez qu’il manque quelque chose à un résumé. Un enfant de neuf ans lit un paragraphe sûr de lui et le range comme étant ce qui s’est passé.

C’est l’une des rares inquiétudes de ce site qui repose sur de vraies données plutôt que sur une prévision. Les différences de traitement entre groupes par ces systèmes ont été mesurées à de nombreuses reprises — par des équipes universitaires, par des journalistes, par des régulateurs, et dans les évaluations publiées par les entreprises elles-mêmes. Ce n’est pas le résultat d’un seul laboratoire. Les mêmes formes reviennent d’un système à l’autre, d’une tâche à l’autre, d’une année à l’autre.

Ces formes méritent d’être nommées concrètement. Des générateurs d’images à qui l’on demandait un médecin, un ingénieur ou un criminel renvoyaient un éventail de visages remarquablement étroit, jusqu’à ce que les entreprises interviennent. On a montré que la reconnaissance vocale fonctionne moins bien sur certains accents et parlers d’une langue que sur d’autres. Des systèmes chargés de filtrer ou de classer des textes ont produit des résultats différents lorsqu’un nom sur la page était changé et rien d’autre. La traduction vers l’anglais efface le genre grammatical, et la traduction depuis l’anglais doit le deviner — et la supposition suit ce qui domine dans la matière.

Ce que rien de tout cela ne justifie, c’est un chiffre à emporter avec soi. La taille de chacun de ces écarts varie selon le système, la version, la tâche et la façon de mesurer, et un chiffre issu d’une évaluation d’il y a trois ans peut ne rien décrire d’un modèle actuel. Plusieurs des défaillances citées plus haut ont été découvertes, rendues publiques, puis nettement réduites. Le sens est solide et le mécanisme est toujours là ; l’ampleur est une cible mouvante, et quiconque vous cite un pourcentage unique vous cite une étude, sur un système, un jour donné.

Il est également établi que le sujet a été pris au sérieux, et une page qui passerait cela sous silence ne mériterait pas confiance sur le reste. L’évaluation des biais fait maintenant partie ordinaire de la manière dont les grands modèles sont testés et documentés, et les résultats sont rapportés plus en détail qu’avant. C’est un vrai changement. Les deux sections suivantes expliquent pourquoi il ne clôt pas l’affaire.

La source évidente, c’est la matière d’entraînement, et c’est celle dont presque tout le monde a entendu parler. Si le tas de textes est surtout en anglais, provient surtout d’une poignée de pays et a surtout été écrit par des gens qui publient sur internet, alors l’idée que le modèle se fait de l’ordinaire est la leur. Ce n’est pas un défaut moral de la machine. C’est ce que produit une moyenne faite sur un tas déséquilibré.

La deuxième source est bien moins discutée et compte tout autant. Après l’entraînement initial, un modèle est ajusté à l’aide de jugements humains : des personnes notent laquelle de deux réponses est meilleure, plus sûre ou plus utile. Ces personnes forment un groupe particulier travaillant selon une consigne particulière, et leur idée d’une bonne réponse devient celle du modèle. Un système peut être ajusté pour être poli, prudent et accommodant d’une manière qui est elle-même culturellement située.

La troisième est la plus facile à oublier : ce que quelqu’un a pensé à lui demander. Ce qu’un modèle fait bien, ce sont les choses pour lesquelles il a été construit et évalué, et celles-ci ont été choisies par ceux qui l’ont construit. Une capacité que personne n’a pensé à tester est une capacité dont personne n’a constaté l’absence.

Sous la discussion sur les correctifs se cache une question plus difficile, souvent sautée. Demandez à un système l’image d’une personne infirmière. Les résultats devraient-ils correspondre à qui exerce ce métier aujourd’hui dans votre pays ? À qui l’exerce dans le monde ? Ou à qui l’exercerait si la profession n’avait pas été façonnée par un siècle de suppositions sur qui la fait ? Ce sont trois images différentes, et chacune a été défendue par quelqu’un comme étant la juste.

Le même problème apparaît dans le texte. Un résumé d’un événement historique qui donnerait le même poids à tous les récits n’est pas neutre : c’est un choix, et souvent un choix trompeur. Un résumé qui suit le poids des archives conservées hérite de la question de savoir à qui appartenaient ces archives. Il n’existe pas de version de cela sans aucun point de vue à l’intérieur. Le jugement de quelqu’un se trouve dans la réponse dans un sens ou dans l’autre, et « sois simplement neutre » est une consigne impossible à suivre.

Cela vaut la peine de le savoir, parce que cela change ce que vous pouvez raisonnablement exiger. Il est légitime de demander qu’un système ne soit pas mince et sûr de lui à propos de votre famille, et légitime de demander qu’on vous signale quand une réponse n’est qu’un point de vue parmi d’autres. Demander une réponse sans aucun point de vue, c’est demander une chose qui n’existe pas — et une entreprise qui vous la promet vous vend l’apparence de la chose.

Savoir si ces systèmes rétrécissent l’éventail de ce qui se dit ou l’élargissent est réellement inconnu, et les deux sont plausibles. Un outil qui répond dans cent langues met plus de choses à la portée de plus de gens que tout ce qui l’a précédé. Un outil qui normalise en silence chaque texte vers une seule norme fait l’inverse. Les deux effets se produisent en même temps, et aucune mesure n’en fait le solde.

La version la plus aiguë de la question, c’est ce qu’il advient d’une langue ou d’une tradition peu présente dans les données d’entraînement. Si la matière reste maigre, le modèle reste maigre à son sujet. Si une communauté produit davantage de matière pour corriger cela, alors une partie de la raison d’être de cette matière est d’alimenter un système — ce qui est une chose étrange à demander à une culture, et pas manifestement une bonne chose. Personne n’a de réponse confortable à cela, et ceux qui le vivent le plus ne sont pas ceux qui ont posé la question.

Les évaluations elles-mêmes sont un terrain disputé. Un test de référence mesure les écarts que quelqu’un a pensé à chercher, dans les langues que quelqu’un a pensé à tester, et les résultats sont le plus souvent publiés par l’organisation qui y a le plus d’intérêt. Cela ne rend pas les chiffres faux. Cela veut dire que « ce modèle obtient de bons résultats aux évaluations d’équité » est une affirmation bien plus étroite qu’elle n’en a l’air, et qu’il vaut mieux la lire pour ce qu’elle est.

Un parent qui regarde tout cela et décide que la charge de la preuve revient à l’outil a lu la situation correctement, il ne l’a pas esquivée. Il est tout à fait raisonnable de tenir ces systèmes à l’écart des sujets où le récit de votre propre famille est celui qui compte, et de les laisser aider pour les exercices de mathématiques. Ce n’est pas un refus de la technologie. C’est une décision sur ce à quoi elle est assez bonne, et c’est un jugement que vous êtes mieux placé pour porter que quiconque vous la vend.