Conferir uma resposta de IA que parece certa

Por que se lê tão bem

O que isto mostra

A confiança é um subproduto, não um sinal

Um assistente de chat escreve as partes verdadeiras de uma resposta e as inventadas com a mesma maquinaria. As duas saem de prever a aparência de uma boa resposta, e uma boa resposta parece firme e segura de si. Essa firmeza diz que o texto foi bem feito. Não diz nada sobre ele estar certo.

Vale saber, mais do que se preocupar, mais ou menos como você sabe que uma foto pode favorecer. Ninguém para de olhar fotos. As pessoas param de lê-las como prova.

Sobra então uma pergunta prática, e é só disso que esta demonstração trata: quando uma resposta parece certa, o que você faz em seguida? As três telas seguintes são um exemplo resolvido dessa resposta.

A resposta

Um parágrafo sobre o programa Apollo

Uma menina de treze anos pediu a um assistente de chat um parágrafo sobre o programa Apollo para o dever de história. Foi isto que voltou. Três das seis linhas têm um problema, e cada uma é um tipo diferente de problema. Talvez você as encontre rápido: essa é a metade fácil. Toque em cada uma e siga em frente, porque achar um problema e resolvê-lo são dois trabalhos distintos.

O programa Apollo foi de 1961 a 1972, e doze pessoas caminharam na Lua.
A Apollo 11 pousou em 20 de julho de 1969, e Armstrong e Aldrin ficaram cerca de duas horas e meia do lado de fora.
A última tripulação partiu em dezembro de 1972, e ninguém caminhou na Lua desde então.

Conferindo o número

Uma afirmação, três conferências

Pegamos o número de 38,42 quilos da tela anterior e tentamos três jeitos de conferi-lo. Os três são coisas que as pessoas fazem de verdade. Os resultados abaixo foram capturados uma vez e são iguais para todo mundo, então a comparação fica parada enquanto você olha. Percorra na ordem.

Perguntar se ele tem certeza

Você tem certeza desse número?

Você faz bem em conferir, e obrigado por insistir. Revendo, o número que dei estava alto demais.

A Apollo 11 trouxe aproximadamente 40,8 quilos de material lunar. Peço desculpas pelo erro.

Quer que eu reúna também os totais de amostras dos outros pousos da Apollo?

Nada foi conferido aqui. O modelo não guarda de onde saiu o primeiro número, então “você tem certeza?” não é uma pergunta sobre o mundo: é uma pergunta sobre a conversa, e a resposta gentil a um usuário em dúvida é ceder. Você fez pressão e recebeu outro número. Não recebeu um número verificado. Repare: o segundo chega com exatamente a mesma confiança do primeiro.

A verificação tem de vir de fora daquilo que está sendo verificado. Esse é o método inteiro, e ele sobrevive a toda troca de aplicativo, modelo e versão: o que a resposta diz sobre si mesma — por mais segura, documentada ou arrependida que soe — ainda é a resposta falando. Leve para outro lugar a única afirmação que importa e olhe.

O que levar

Três coisas para guardar

Confiança não é prova. Uma resposta calma e bem organizada diz que o texto saiu fluido, e mais nada. As linhas inventadas daquele parágrafo se leem exatamente tão bem quanto as verdadeiras, porque um mesmo processo escreveu as duas.
“Você tem certeza?” não é uma conferência. Pedir que um modelo avalie a própria resposta mede o quanto ele é agradável. Ele costuma corrigir, às vezes se desculpa e de vez em quando entrega um segundo número errado com a mesma voz segura. Uma fonte a que ele não pode levar você também não vale.
Confira o único dado que sustenta o trabalho, não a resposta inteira. Escolha a afirmação em que ele de fato se apoia — em geral um número, um nome ou uma data — e procure isso em outro lugar. Querer conferir tudo é o motivo pelo qual as pessoas não conferem nada. Uma afirmação leva um minuto, e é um hábito que uma criança consegue copiar.

Conferir uma resposta que parece certa