IA e confiança

Quando uma pessoa não sabe algo, normalmente dá para perceber. Ela pausa. Ela ressalva. Diz que acha que sim, e que é melhor você conferir. Isso aqui não. A resposta errada chega com a mesma voz da certa: mesmo tamanho, mesma estrutura arrumadinha, mesmo tom prestativo. Não vem com nenhuma marca. Nenhuma cor de alerta, nenhuma confiança rebaixada, nenhuma nota de rodapé dizendo que esta parte é frágil. Parece pronta, porque parecer pronta é para o que ela foi construída.

E isso joga a carga inteira em você. Para usar com segurança, você precisa já saber a resposta, ou saber exatamente onde ir conferir. Mas esses são justamente os momentos em que você não teria perguntado. Ou seja: a ferramenta é menos confiável exatamente onde é mais tentadora, e não vai avisar em qual dos dois casos você está. Isso não é um mal-entendido sobre a tecnologia. É uma descrição exata dela, e é um motivo legítimo para mantê-la longe de qualquer coisa que importe.

E uma criança é a pessoa em pior posição na casa para carregar isso. Um parágrafo seguro se lê como autoridade, ainda mais para quem passou anos aprendendo que é no texto escrito que moram as respostas. “Sempre confira o que a IA disser” é fácil de imprimir num comunicado da escola e muito difícil de fazer às nove da noite, quando a resposta já está ali, já formatada e já boa o bastante para entregar.

Primeiro a versão direta, porque esta preocupação precisa de menos ressalvas do que qualquer outra página daqui. Ela está em grande parte certa. Esses sistemas produzem texto prevendo o que vem em seguida, pedaço por pedaço. Uma frase que encaixa e uma frase que é verdadeira não passam pelo mesmo teste, e só o primeiro está sendo aplicado. Onde a resposta verdadeira era rala ou inexistente naquilo de que o modelo aprendeu, uma invenção fluente continua sendo a continuação mais provável — então é uma invenção fluente que volta.

Os casos concretos são documentados e sem glamour. Advogados já protocolaram petições citando decisões que não existem, com nomes, tribunais e anos plausíveis, e foram punidos por isso. Voltam listas de leitura com livros que ninguém escreveu. Citações são atribuídas a pessoas que nunca as disseram. Números de página são inventados para livros reais. E a aritmética volta errada no meio de uma conta cujos outros passos estão todos certos.

Repare no que falta em tudo isso: uma mensagem de erro. O sistema não tem um senso separado do que sabe. Ele não está consultando algo e avisando que não achou, porque não há um acervo de fatos sendo consultado e, portanto, nada que possa não ser encontrado. É por isso que as respostas erradas se parecem exatamente com as certas. Não porque o aviso esteja escondido, mas porque não existe aviso a exibir. No meio técnico isso se chama alucinação, e o nome é infeliz: sugere um defeito. É o processo de sempre, aplicado a uma pergunta em que ele não acerta.

Se isso pode ser resolvido por engenharia é genuinamente desconhecido, e nenhum dos lados é ingênuo. Pesquisadores sérios sustentam que ancoragem em fontes, recuperação de documentos, camadas de verificação e treinamento melhor vão empurrar isso até a taxa de erro de uma ferramenta comum, que nunca foi zero em ferramenta nenhuma que alguém use. Outros sustentam que um sistema cuja operação inteira é prever texto plausível sempre vai conseguir prever uma falsidade plausível, e que nenhuma camada por cima muda o que há embaixo. Nenhuma evidência resolveu isso. Quem afirma de forma categórica em qualquer das direções está relatando uma preferência.

Se os hábitos de conferência sobrevivem ao contato com uma terça-feira à noite é a segunda pergunta, e ela é discutida bem menos. É fácil escrever “sempre verifique” e difícil fazer na quarta pergunta às nove da noite. Uma ferramenta que acerta dezenove vezes te desacostuma de conferir a vigésima, e isso não é falha de caráter: é como a atenção funciona em todo mundo. Ninguém demonstrou um desenho que mantenha a conferência viva sem deixar a ferramenta chata o bastante para ser abandonada, e a pressão comercial vai no sentido contrário.

Debaixo das duas há uma pergunta sem nenhuma resposta técnica. Se um sistema quase sempre acerta, e você não consegue saber de antemão qual é a vez excepcional, quanto peso é razoável colocar nele? Isso é um julgamento sobre risco, não um fato sobre modelos. Depende do que está sendo perguntado, de quem pergunta, do que acontece se estiver errado e de quanto tempo essa pessoa tem. Duas pessoas cuidadosas podem colocar essa linha em lugares bem diferentes e as duas estarem raciocinando bem.

Então um pai ou uma mãe que lê tudo isso e decide que a troca não compensa leu corretamente. Manter isso fora da sua casa, ou fora da lição de casa do seu filho, não é falta de apreço pela tecnologia nem recusa a acompanhar o mundo. É uma conclusão sobre uma ferramenta que não vai avisar quando estiver errada, tirada dos mesmos fatos com que todo mundo trabalha. A faixa razoável de respostas aqui é larga, e a que serve para a sua família é sua para escolher.