KI und Vertrauen

Einem Menschen, der etwas nicht weiß, merkt man es meistens an. Er stockt. Er schränkt ein. Er sagt, er glaube schon, du solltest es aber nachprüfen. Das hier nicht. Die falsche Antwort kommt in derselben Stimme wie die richtige: gleiche Länge, gleicher aufgeräumter Aufbau, gleicher hilfsbereiter Ton. Sie trägt keine Markierung. Keine Warnfarbe, keine herabgesetzte Sicherheit, keine Fußnote, die sagt, dieser Teil sei dünn. Sie sieht fertig aus, weil Fertigaussehen das ist, wofür sie gebaut wurde.

Damit liegt die ganze Last bei dir. Um es sicher zu benutzen, musst du die Antwort schon kennen oder genau wissen, wo du sie nachschlagen kannst. Das sind aber genau die Momente, in denen du nicht gefragt hättest. Das Werkzeug ist also dort am wenigsten verlässlich, wo es am verlockendsten ist, und es sagt dir nicht, in welchem der beiden Fälle du gerade steckst. Das ist kein Missverständnis über die Technik. Es ist eine genaue Beschreibung von ihr, und es ist ein guter Grund, sie von allem fernzuhalten, was zählt.

Und ein Kind ist die am schlechtesten dafür gerüstete Person im Haus. Ein selbstsicherer Absatz liest sich wie eine Autorität, besonders für jemanden, dem seit Jahren beigebracht wird, dass Antworten im geschriebenen Text wohnen. „Prüf immer nach, was die KI dir sagt“ lässt sich leicht auf einen Elternbrief drucken und ist um neun Uhr abends sehr schwer zu tun, wenn die Antwort schon da ist, schon formatiert und schon gut genug zum Abgeben.

Zuerst die schlichte Fassung, denn diese Sorge braucht weniger Einschränkungen als jede andere Seite hier. Sie stimmt weitgehend. Diese Systeme erzeugen Text, indem sie vorhersagen, was als Nächstes kommt, Stück für Stück. Ob ein Satz passt und ob ein Satz wahr ist, sind nicht dieselbe Prüfung, und angewandt wird nur die erste. Wo die wahre Antwort in dem, woraus das Modell gelernt hat, dünn oder gar nicht vorhanden war, bleibt eine flüssige Erfindung die wahrscheinlichste Fortsetzung — also kommt eine flüssige Erfindung zurück.

Die konkreten Fälle sind dokumentiert und unspektakulär. Anwälte haben bei Gericht Schriftsätze eingereicht, die Entscheidungen zitierten, die es nicht gibt, mit plausiblen Namen, Gerichten und Jahreszahlen, und wurden dafür sanktioniert. Leselisten kommen mit Büchern zurück, die niemand geschrieben hat. Zitate werden Menschen zugeschrieben, die sie nie gesagt haben. Seitenzahlen werden für echte Bücher erfunden. Und das Rechnen kommt falsch zurück, mitten in einer Herleitung, deren übrige Schritte alle stimmen.

Achte darauf, was in all dem fehlt: eine Fehlermeldung. Das System hat kein getrenntes Gefühl dafür, was es weiß. Es schlägt nichts nach und meldet keinen Fehlschlag, denn es gibt keinen Faktenspeicher, in dem nachgeschlagen wird, und damit nichts, das nicht gefunden werden könnte. Deshalb sehen die falschen Antworten genauso aus wie die richtigen. Nicht weil die Warnung versteckt wäre, sondern weil es keine Warnung anzuzeigen gibt. Im Fach heißt das Halluzination, und der Name ist unglücklich: Er legt eine Störung nahe. Es ist der gewöhnliche Vorgang, angewandt auf eine Frage, bei der er danebengeht.

Ob sich das technisch wegkonstruieren lässt, ist wirklich unbekannt, und keine der beiden Seiten ist naiv. Ernsthafte Forschende halten dafür, dass Verankerung in Quellen, Dokumentensuche, Prüfschichten und besseres Training das auf die Fehlerquote eines gewöhnlichen Werkzeugs drücken werden, und die war bei keinem Werkzeug je null. Andere halten dafür, dass ein System, dessen gesamte Tätigkeit im Vorhersagen plausiblen Textes besteht, immer auch eine plausible Unwahrheit vorhersagen kann, und dass keine Hülle daran etwas ändert. Kein Befund hat das entschieden. Wer es in die eine oder andere Richtung glatt behauptet, berichtet dir eine Vorliebe.

Ob Prüfgewohnheiten den Kontakt mit einem Dienstagabend überstehen, ist die zweite Frage, und über sie wird viel weniger gesprochen. „Immer nachprüfen“ ist leicht geschrieben und bei der vierten Frage um neun Uhr abends schwer getan. Ein Werkzeug, das neunzehnmal recht hat, gewöhnt dir das Prüfen beim zwanzigsten Mal ab, und das ist kein Charakterfehler, sondern die Art, wie Aufmerksamkeit bei allen funktioniert. Niemand hat einen Entwurf vorgeführt, der das Prüfen am Leben hält, ohne das Werkzeug so mühsam zu machen, dass man es aufgibt, und der kommerzielle Druck geht in die andere Richtung.

Unter beiden liegt eine Frage, die überhaupt keine technische Antwort hat. Wenn ein System meistens recht hat, und du nicht im Voraus erkennen kannst, welches Mal die Ausnahme ist, wie viel Gewicht darf man vernünftigerweise darauf legen? Das ist ein Urteil über Risiko, keine Tatsache über Modelle. Es hängt davon ab, was gefragt wird, wer fragt, was passiert, wenn es falsch ist, und wie viel Zeit diese Person hat. Zwei sorgfältige Menschen können diese Grenze sehr unterschiedlich ziehen und beide gut denken.

Wer das alles liest und zu dem Schluss kommt, dass sich der Tausch nicht lohnt, hat also richtig gelesen. Das aus deinem Haus herauszuhalten, oder aus den Hausaufgaben deines Kindes, ist weder mangelnde Wertschätzung für die Technik noch eine Weigerung mitzuhalten. Es ist ein Schluss über ein Werkzeug, das dir nicht sagt, wann es sich irrt, gezogen aus denselben Tatsachen, mit denen alle anderen auch arbeiten. Die Spanne vernünftiger Antworten ist hier weit, und welche zu deiner Familie passt, entscheidest du.