A IA e a equidade

Seu filho pergunta a um assistente algo próximo de casa: de onde a sua família veio, uma palavra que a sua avó usa, um episódio de história que aconteceu com gente como você. A resposta chega rápida, fluente e sem nenhuma hesitação visível. E ela é rasa, ou um pouco torta, ou escrita como se a parte interessante da história tivesse acontecido em outro lugar. Nada ali é mentira. Só não é sobre você.

O que faz disso uma objeção, e não uma reclamação, é que decorre de como a coisa foi construída. Um modelo aprende de uma pilha enorme de textos e imagens que pessoas produziram, e essa pilha não é um recorte representativo da humanidade. É quem estava publicando, nas línguas que dominam a web, nas décadas que foram digitalizadas, sobre os assuntos a respeito dos quais se escreveu muito. O que ficou registrado em abundância vira a noção de normal do modelo. O que ficou registrado de raspão volta igualmente raso.

Ninguém decidiu isso. Não existe uma sala em que alguém escolheu deixar a sua comunidade de fora, e dizer isso não consola muito, porque a resposta que seu filho lê é a mesma de qualquer jeito. É isso que torna a preocupação difícil de descartar: ela não depende da má intenção de ninguém, então não desaparece quando todo mundo envolvido tem boas intenções. E pesa mais sobre uma criança do que sobre você. Você perceberia que falta algo em um resumo. Uma criança de nove anos lê um parágrafo cheio de segurança e arquiva aquilo como o que aconteceu.

Esta é uma das poucas preocupações deste site com uma base de evidência real por trás, e não uma previsão. Diferenças em como esses sistemas tratam grupos distintos já foram medidas repetidas vezes: por grupos universitários, por jornalistas, por reguladores e nas próprias avaliações publicadas pelas empresas. Não é o achado de um laboratório só. Os mesmos formatos reaparecem entre sistemas, entre tarefas e ao longo dos anos.

Vale nomear esses formatos de forma concreta. Geradores de imagem aos quais se pedia um médico, um engenheiro ou um criminoso devolviam uma faixa de rostos espantosamente estreita, até as empresas intervirem. Já se demonstrou que o reconhecimento de fala funciona pior com alguns sotaques e dialetos de uma língua do que com outros. Sistemas encarregados de filtrar ou ordenar material escrito produziram resultados diferentes quando um nome na página foi trocado e mais nada. A tradução para o inglês perde o gênero gramatical, e a tradução a partir dele precisa adivinhar, e o palpite segue o padrão que está no material.

O que nada disso sustenta é um número para carregar no bolso. O tamanho de qualquer uma dessas lacunas varia por sistema, por versão, por tarefa e por como foi medida, e um número de uma avaliação de três anos atrás pode não descrever nada de um modelo atual. Várias das falhas específicas acima foram encontradas, divulgadas e depois bastante reduzidas. A direção é sólida e o mecanismo continua ali; a magnitude é um alvo em movimento, e quem citar para você uma porcentagem única está citando um estudo de um sistema em um dia.

Também está estabelecido que isso vem sendo levado a sério, e uma página que pulasse esse ponto não mereceria confiança no resto. A avaliação de viés hoje é parte comum de como modelos grandes são testados e documentados, e os resultados são relatados com mais detalhe do que eram. Essa é uma mudança real. As duas seções seguintes tratam de por que ela não encerra o assunto.

A fonte óbvia é o material de treinamento, e é a que quase todo mundo já ouviu falar. Se a pilha de texto é sobretudo em inglês, vem sobretudo de um punhado de países e foi escrita sobretudo por gente que publica na internet, então a noção que o modelo tem do usual é a noção dessas pessoas. Isso não é uma falha moral da máquina. É o que a média de uma pilha desequilibrada produz.

A segunda fonte é bem menos discutida e importa igual. Depois do treinamento inicial, um modelo é ajustado com julgamentos humanos: pessoas avaliando qual de duas respostas é melhor, mais segura ou mais útil. Essas pessoas são um grupo específico trabalhando com um encargo específico, e a noção que elas têm de uma boa resposta vira a noção do modelo. Um sistema pode ser ajustado para ser educado, cauteloso e agradável de maneiras que são, elas próprias, culturalmente específicas.

A terceira é a mais fácil de esquecer: o que alguém pensou em pedir a ele. As coisas que um modelo faz bem são as coisas para as quais ele foi construído e avaliado, e essas foram escolhidas por quem o construiu. Uma capacidade que ninguém pensou em testar é uma capacidade cuja falta ninguém notou.

Debaixo da discussão sobre correções há uma pergunta mais difícil que costuma ser pulada. Peça a um sistema uma imagem de uma pessoa da enfermagem. Os resultados deveriam corresponder a quem exerce essa profissão hoje no seu país? A quem a exerce no mundo? Ou a quem a exerceria, se ela não tivesse sido moldada por um século de suposições sobre quem faz esse trabalho? São três imagens diferentes, e alguém já defendeu cada uma delas como a justa.

O mesmo problema aparece no texto. Um resumo de um acontecimento histórico que dê peso igual a todos os relatos não é neutro: é uma escolha, e com frequência uma escolha enganosa. Um resumo que segue o peso do registro que sobreviveu herda de quem eram esses registros. Não existe versão disso sem nenhum ponto de vista dentro. O julgamento de alguém está na resposta de um jeito ou de outro, e “apenas seja neutro” é uma instrução que na prática não dá para seguir.

Vale saber disso porque muda o que você pode exigir com sentido. É justo pedir que um sistema não seja raso e confiante a respeito da sua família, e é justo pedir para ser avisado quando uma resposta é um ponto de vista entre vários. Pedir uma resposta sem nenhum ponto de vista dentro é pedir algo que não existe, e uma empresa que promete isso está vendendo a aparência da coisa, não a coisa.

Se esses sistemas estreitam ou ampliam o que passa a ser dito é algo genuinamente desconhecido, e as duas coisas são plausíveis. Uma ferramenta que responde em cem idiomas coloca mais coisas ao alcance de mais gente do que qualquer outra antes dela. Uma ferramenta que padroniza silenciosamente todo texto em direção a uma única norma faz o contrário. As duas coisas estão acontecendo ao mesmo tempo, e não existe medição que feche esse saldo.

A versão mais afiada da pergunta é o que acontece com uma língua ou uma tradição que aparece pouco no material de treinamento. Se o material continua escasso, o modelo continua sabendo pouco. Se uma comunidade produz mais material para corrigir isso, então parte da razão pela qual esse material existe é alimentar um sistema, o que é uma coisa estranha de se pedir a uma cultura e não é obviamente boa. Ninguém tem uma resposta confortável para isso, e quem mais sente o efeito não foi quem formulou a pergunta.

As avaliações também são terreno em disputa. Um teste de referência mede as lacunas que alguém pensou em procurar, nos idiomas que alguém pensou em testar, e os resultados costumam ser divulgados pela organização que mais tem a perder ou a ganhar com eles. Isso não torna os números falsos. Significa, sim, que “este modelo vai bem em avaliações de equidade” é uma afirmação bem mais estreita do que parece, e vale lê-la como a afirmação estreita que é.

Um pai ou uma mãe que olha para tudo isso e conclui que o ônus da prova é da ferramenta leu a situação corretamente, não fugiu dela. É perfeitamente razoável manter esses sistemas longe dos assuntos em que o relato da sua própria família é o que importa, e deixar que ajudem com a lição de matemática. Isso não é recusa a lidar com a tecnologia. É decidir para que ela é boa o bastante, e esse é um julgamento que você tem mais condições de fazer do que quem está vendendo.