Eine KI-Antwort prüfen, die richtig klingt

Warum es sich gut liest

Worum es hier geht

Sicherheit ist ein Nebenprodukt, kein Signal

Ein Chat-Assistent schreibt die wahren und die erfundenen Teile einer Antwort mit derselben Mechanik. Beide entstehen daraus, vorherzusagen, wie eine gute Antwort aussieht — und eine gute Antwort wirkt ruhig und sicher. Diese Ruhe sagt dir, dass der Text gut gemacht ist. Über seine Richtigkeit sagt sie nichts.

Das ist eher wissenswert als beunruhigend, ungefähr so, wie du weißt, dass ein Foto schmeicheln kann. Niemand hört auf, Fotos anzusehen. Man hört auf, sie als Beweis zu lesen.

Bleibt eine praktische Frage, und nur um sie geht es hier: Wenn eine Antwort richtig klingt, was tust du als Nächstes? Die nächsten drei Bildschirme sind ein durchgerechnetes Beispiel dafür.

Die Antwort

Ein Absatz über das Apollo-Programm

Eine Dreizehnjährige hat einen Chat-Assistenten um einen Absatz über das Apollo-Programm für die Hausaufgabe in Geschichte gebeten. Das kam zurück. Drei der sechs Zeilen haben ein Problem, und jede ein anderes. Vielleicht siehst du sie schnell — das ist die leichte Hälfte. Tippe sie an und lies weiter, denn ein Problem finden und es klären sind zwei verschiedene Arbeiten.

Das Apollo-Programm lief von 1961 bis 1972, und zwölf Menschen gingen auf dem Mond.
Apollo 11 landete am 20. Juli 1969, und Armstrong und Aldrin waren rund zweieinhalb Stunden draußen.
Die letzte Besatzung flog im Dezember 1972 zurück, und seither ging niemand mehr auf dem Mond.

Die Zahl prüfen

Eine Aussage, drei Prüfungen

Wir haben die Zahl 38,42 Kilogramm vom vorigen Bildschirm genommen und drei Wege ausprobiert, sie zu prüfen. Alle drei kommen im Alltag vor. Die Ergebnisse unten wurden einmal aufgezeichnet und sind für alle gleich, damit der Vergleich still hält, während du ihn ansiehst. Geh sie der Reihe nach durch.

Fragen, ob es sicher ist

Bist du sicher bei der Zahl?

Gut, dass du nachfragst, und danke fürs Nachhaken. Nach nochmaliger Prüfung war meine Zahl zu hoch.

Apollo 11 brachte etwa 40,8 Kilogramm Mondmaterial zurück. Ich entschuldige mich für den Fehler.

Soll ich dir auch die Probenmengen der übrigen Apollo-Landungen zusammenstellen?

Geprüft wurde hier nichts. Das Modell weiß nicht, woher seine erste Zahl kam; “bist du sicher?” ist also keine Frage über die Welt, sondern über das Gespräch — und die freundliche Antwort auf Zweifel ist Nachgeben. Du hast Druck gemacht und eine andere Zahl bekommen. Eine geprüfte hast du nicht bekommen. Beachte: Die zweite Zahl kommt mit genau so viel Sicherheit wie die erste.

Die Prüfung muss von außerhalb dessen kommen, was geprüft wird. Das ist das ganze Verfahren, und es überdauert jeden Wechsel von App, Modell und Version: Was die Antwort über sich selbst sagt — so sicher, so belegt, so zerknirscht sie auch klingt — ist immer noch die Antwort, die spricht. Nimm die eine Aussage, auf die es ankommt, woandershin und sieh nach.

Was du mitnimmst

Drei Dinge zum Behalten

Sicherheit ist kein Beleg. Eine ruhige, gut geordnete Antwort sagt dir, dass der Text glatt entstanden ist, sonst nichts. Die erfundenen Zeilen in dem Absatz lesen sich genau so gut wie die wahren, weil derselbe Vorgang beide geschrieben hat.
“Bist du sicher?” ist keine Prüfung. Ein Modell seine eigene Antwort benoten zu lassen, misst seine Gefälligkeit. Es korrigiert oft, entschuldigt sich manchmal und liefert gelegentlich eine zweite falsche Zahl im selben sicheren Ton. Eine Quelle, zu der es dich nicht führen kann, zählt ebenfalls nicht.
Prüfe die eine tragende Angabe, nicht die ganze Antwort. Nimm die Aussage, auf der die Arbeit wirklich ruht — meist eine Zahl, ein Name oder ein Datum — und schlag sie woanders nach. Alles prüfen zu wollen ist der Grund, warum am Ende nichts geprüft wird. Eine Aussage dauert eine Minute, und es ist eine Gewohnheit, die ein Kind übernehmen kann.

Eine Antwort prüfen, die richtig klingt