La IA y la equidad

Tu hijo le pregunta a un asistente algo cercano a casa: de dónde viene tu familia, una palabra que usa tu abuela, un episodio de historia que le pasó a gente como tú. La respuesta llega rápido, fluida y sin una sola vacilación visible. Y es delgada, o está un poco desviada, o está escrita como si la parte interesante de la historia hubiera ocurrido en otro lado. Nada de lo que dice es mentira. Simplemente no habla de ti.

Lo que convierte esto en una objeción y no en una queja es que se desprende de cómo se construyó la cosa. Un modelo aprende de un montón enorme de textos e imágenes que produjeron personas, y ese montón no es un corte transversal de la humanidad. Es quien estaba publicando, en los idiomas que dominan la web, en las décadas que se digitalizaron, sobre los temas de los que se escribió muchísimo. Lo que quedó registrado en abundancia se convierte en la idea de normalidad del modelo. Lo que quedó registrado apenas vuelve igual de escaso.

Nadie decidió esto. No hay una sala donde alguien eligiera dejar fuera a tu comunidad, y decirlo no consuela mucho, porque la respuesta que lee tu hijo es la misma de todos modos. Eso es lo que hace difícil descartar la preocupación: no depende de la mala intención de nadie, así que no desaparece cuando todos los implicados tienen buenas intenciones. Y le pega más fuerte a un niño que a ti. Tú notarías que a un resumen le falta algo. Un niño de nueve años lee un párrafo seguro de sí mismo y lo archiva como lo que pasó.

Esta es una de las pocas preocupaciones de este sitio que tiene detrás evidencia de verdad y no un pronóstico. Las diferencias en cómo estos sistemas tratan a distintos grupos se han medido una y otra vez: por grupos universitarios, por periodistas, por reguladores y en las propias evaluaciones publicadas por las empresas. No es el hallazgo de un solo laboratorio. Las mismas formas reaparecen entre sistemas, entre tareas y a lo largo de los años.

Vale la pena nombrar esas formas en concreto. A los generadores de imágenes se les pedía un médico, un ingeniero o un delincuente y devolvían un rango de rostros llamativamente estrecho hasta que las empresas intervinieron. Se ha demostrado que el reconocimiento de voz funciona peor con algunos acentos y dialectos de una lengua que con otros. Sistemas a los que se pidió filtrar u ordenar material escrito dieron resultados distintos cuando se cambió un nombre en la página y nada más. La traducción al inglés pierde el género gramatical, y la traducción desde el inglés tiene que adivinarlo, y la conjetura sigue el patrón que hay en el material.

Lo que nada de esto respalda es un número que puedas llevarte en el bolsillo. El tamaño de cualquiera de estas brechas varía según el sistema, la versión, la tarea y cómo se midió, y una cifra de una evaluación de hace tres años puede no describir en absoluto un modelo actual. Varios de los fallos concretos de arriba se detectaron, se hicieron públicos y luego se redujeron bastante. La dirección es sólida y el mecanismo sigue ahí; la magnitud es un blanco móvil, y quien te cite un porcentaje único te está citando un estudio de un sistema en un día.

También está establecido que esto se ha tomado en serio, y una página que se lo saltara no merecería confianza en el resto. La evaluación de sesgos ya es una parte ordinaria de cómo se prueban y se documentan los modelos grandes, y los resultados se informan con más detalle que antes. Es un cambio real. Las dos secciones siguientes tratan de por qué no cierra el asunto.

La fuente evidente es el material de entrenamiento, y es de la que casi todo el mundo ha oído hablar. Si el montón de texto está sobre todo en inglés, viene sobre todo de un puñado de países y lo escribió sobre todo gente que publica en internet, entonces la idea que tiene el modelo de lo habitual es la de esa gente. No es un fallo moral de la máquina. Es lo que produce promediar un montón desequilibrado.

La segunda fuente se discute mucho menos e importa igual. Después del entrenamiento inicial, un modelo se ajusta con juicios humanos: personas que valoran cuál de dos respuestas es mejor, más segura o más útil. Esas personas son un grupo concreto que trabaja con un encargo concreto, y su idea de una buena respuesta se convierte en la idea del modelo. Un sistema puede ajustarse para ser cortés, prudente y complaciente de maneras que son en sí mismas culturalmente específicas.

La tercera es la más fácil de olvidar: qué se le ocurrió pedirle a alguien. Las cosas que un modelo hace bien son las cosas para las que se construyó y se evaluó, y esas las eligió quien lo construyó. Una capacidad que a nadie se le ocurrió probar es una capacidad cuya falta nadie detectó.

Debajo de la discusión sobre los arreglos hay una pregunta más difícil que suele saltarse. Pídele a un sistema una imagen de una persona de enfermería. ¿Los resultados deberían coincidir con quién ejerce esa profesión hoy en tu país? ¿Con quién la ejerce en el mundo? ¿O con quién la ejercería si no la hubiera moldeado un siglo de suposiciones sobre quién la hace? Son tres imágenes distintas, y alguien ha defendido cada una como la justa.

El mismo problema aparece en el texto. Un resumen de un hecho histórico que dé el mismo peso a todos los relatos no es neutral: es una elección, y con frecuencia una elección engañosa. Un resumen que sigue el peso del archivo que sobrevivió hereda de quién eran esos archivos. No existe una versión de esto sin ningún punto de vista dentro. El juicio de alguien está en la respuesta se haga como se haga, y “sé neutral y ya” es una instrucción que en realidad no se puede seguir.

Vale la pena saberlo porque cambia lo que puedes exigir con sentido. Es justo pedir que un sistema no sea escaso con aires de seguridad sobre tu familia, y es justo pedir que te avisen cuando una respuesta es un punto de vista entre varios. Pedir una respuesta sin ningún punto de vista dentro es pedir algo que no existe, y una empresa que te lo promete te está vendiendo la apariencia, no la cosa.

Si estos sistemas estrechan el rango de lo que se dice o lo amplían es algo que de verdad no se sabe, y las dos cosas son plausibles. Una herramienta que responde en cien idiomas pone más cosas al alcance de más gente que cualquier otra antes que ella. Una herramienta que estandariza en silencio cada texto hacia una sola norma hace lo contrario. Las dos cosas están pasando a la vez, y no hay ninguna medición que saque el saldo.

La versión más aguda de la pregunta es qué pasa con una lengua o una tradición que aparece poco en el material de entrenamiento. Si el material sigue siendo escaso, el modelo sigue sabiendo poco. Si una comunidad produce más material para arreglar eso, entonces parte de la razón por la que ese material existe es alimentar un sistema, que es algo extraño para pedirle a una cultura y no es obviamente bueno. Nadie tiene una respuesta cómoda para eso, y quienes más lo viven no son quienes formularon la pregunta.

Las evaluaciones también son terreno en disputa. Un banco de pruebas mide las brechas que a alguien se le ocurrió buscar, en los idiomas que a alguien se le ocurrió probar, y los resultados suele publicarlos la organización que más se juega en ellos. Eso no vuelve falsos los números. Sí significa que “este modelo saca buena nota en evaluaciones de equidad” es una afirmación mucho más estrecha de lo que suena, y conviene leerla como la afirmación estrecha que es.

Una madre o un padre que mira todo esto y decide que la carga de la prueba le toca a la herramienta ha leído bien la situación, no la ha esquivado. Es del todo razonable mantener estos sistemas lejos de los temas donde el relato de tu propia familia es el que importa, y dejar que ayuden con la tarea de matemáticas. Eso no es negarse a tratar con la tecnología. Es decidir para qué es lo bastante buena, y ese es un juicio que estás en mejor posición de hacer que cualquiera que te la venda.