L’IA et la confiance

Une personne qui ne sait pas le montre en général. Elle marque un temps. Elle nuance. Elle dit qu’elle croit que oui, et qu’il vaut mieux vérifier. Pas lui. La mauvaise réponse arrive avec la même voix que la bonne : même longueur, même structure bien rangée, même ton serviable. Elle ne porte aucune marque. Aucune couleur d’alerte, aucune assurance revue à la baisse, aucune note en bas de page signalant que ce passage est mince. Elle a l’air achevée, parce qu’avoir l’air achevée est ce pour quoi elle a été construite.

Et cela fait peser toute la charge sur vous. Pour vous en servir sans risque, il faut déjà connaître la réponse, ou savoir exactement où aller la vérifier. Or ce sont précisément les moments où vous n’auriez pas posé la question. L’outil est donc le moins fiable là où il est le plus tentant, et il ne vous dira pas dans lequel des deux cas vous vous trouvez. Ce n’est pas un malentendu sur la technologie. C’en est une description exacte, et c’est une raison légitime de le tenir à l’écart de tout ce qui compte.

Et un enfant est la personne la moins bien placée de la maison pour porter cette charge. Un paragraphe assuré se lit comme une autorité, surtout pour quelqu’un à qui l’on apprend depuis des années que les réponses habitent le texte écrit. « Vérifiez toujours ce que dit l’IA » est facile à imprimer sur une circulaire de l’école et très difficile à faire à neuf heures du soir, quand la réponse est déjà là, déjà mise en forme, et déjà assez bonne pour être rendue.

D’abord la version brute, car cette inquiétude demande moins de nuances que n’importe quelle autre page d’ici. Elle est largement juste. Ces systèmes produisent du texte en prédisant ce qui vient ensuite, morceau par morceau. Qu’une phrase s’accorde et qu’une phrase soit vraie ne sont pas le même test, et seul le premier est appliqué. Là où la vraie réponse était mince ou absente de ce dont le modèle a appris, une invention fluide reste la suite la plus probable — donc c’est une invention fluide qui revient.

Les cas concrets sont documentés et sans éclat. Des avocats ont déposé devant un tribunal des mémoires citant des décisions qui n’existent pas, avec noms, juridictions et années plausibles, et ont été sanctionnés pour cela. Des listes de lecture reviennent avec des livres que personne n’a écrits. Des citations sont attribuées à des gens qui ne les ont jamais prononcées. Des numéros de page sont inventés pour de vrais ouvrages. Et le calcul revient faux au milieu d’un raisonnement dont toutes les autres étapes sont exactes.

Remarquez ce qui manque dans tout cela : un message d’erreur. Le système n’a pas de sens séparé de ce qu’il sait. Il ne consulte pas quelque chose pour signaler qu’il ne l’a pas trouvé, car il n’y a pas de réserve de faits à consulter, donc rien à ne pas trouver. C’est pourquoi les mauvaises réponses ressemblent exactement aux bonnes. Non parce que l’avertissement est enfoui, mais parce qu’il n’y a aucun avertissement à afficher. Le métier appelle cela une hallucination, et le nom est malheureux : il suggère une panne. C’est le procédé ordinaire, appliqué à une question où il ne tombe pas juste.

Savoir si cela peut être réglé par l’ingénierie est réellement inconnu, et aucun des deux camps n’est naïf. Des chercheurs sérieux soutiennent que l’ancrage dans des sources, la recherche documentaire, des couches de vérification et un meilleur entraînement ramèneront cela au taux d’erreur d’un outil ordinaire, qui n’a jamais été nul pour aucun outil que quiconque utilise. D’autres soutiennent qu’un système dont toute l’activité consiste à prédire du texte plausible pourra toujours prédire une fausseté plausible, et qu’aucune enveloppe ne change ce qu’il y a dessous. Aucune preuve n’a tranché. Quiconque l’affirme sans nuance dans un sens ou dans l’autre vous rapporte une préférence.

Savoir si les habitudes de vérification survivent au contact d’un mardi soir est la deuxième question, et on en parle beaucoup moins. Il est facile d’écrire « vérifiez toujours » et difficile de le faire à la quatrième question, à neuf heures du soir. Un outil qui a raison dix-neuf fois vous désaccoutume de vérifier la vingtième, et ce n’est pas un défaut de caractère : c’est ainsi que fonctionne l’attention chez tout le monde. Personne n’a démontré une conception qui maintienne la vérification en vie sans rendre l’outil assez pénible pour être abandonné, et la pression commerciale va dans l’autre sens.

Sous ces deux questions s’en trouve une qui n’a aucune réponse technique. Si un système a presque toujours raison, et que vous ne pouvez pas savoir à l’avance quelle fois est l’exception, quel poids est-il raisonnable de lui accorder ? C’est un jugement sur le risque, pas un fait sur les modèles. Cela dépend de ce qui est demandé, de qui demande, de ce qui arrive si c’est faux, et du temps dont cette personne dispose. Deux personnes prudentes peuvent placer cette limite à des endroits très différents et raisonner correctement toutes les deux.

Un parent qui lit tout cela et conclut que l’échange n’en vaut pas la peine a donc bien lu. Tenir cela hors de chez vous, ou hors des devoirs de votre enfant, n’est ni un défaut d’estime pour la technologie ni un refus de suivre. C’est une conclusion sur un outil qui ne vous préviendra pas quand il se trompe, tirée des mêmes faits que tout le monde. L’éventail raisonnable de réponses est large ici, et celle qui convient à votre famille vous revient.