La IA y la confianza

A una persona que no sabe algo se le suele notar. Se detiene. Matiza. Dice que cree que sí, y que lo confirmes. Esto no. La respuesta equivocada llega con la misma voz que la acertada: la misma extensión, la misma estructura ordenada, el mismo tono servicial. No lleva ninguna marca. Ningún color de aviso, ninguna confianza rebajada, ninguna nota al pie que diga que esta parte es endeble. Parece terminada, porque parecer terminada es para lo que fue construida.

Y eso deja toda la carga en ti. Para usarla con seguridad tienes que saber ya la respuesta, o saber exactamente adónde ir a averiguarla. Pero esos son justo los momentos en los que no habrías preguntado. Así que la herramienta es menos fiable justo donde resulta más tentadora, y no te dirá en cuál de los dos casos estás. Eso no es un malentendido sobre la tecnología. Es una descripción exacta de ella, y es una razón legítima para mantenerla lejos de todo lo que importa.

Y un niño es la persona peor situada de la casa para cargar con eso. Un párrafo seguro se lee como autoridad, sobre todo para alguien que lleva años aprendiendo que las respuestas viven en el texto escrito. “Verifica siempre lo que te diga la IA” es fácil de imprimir en una circular de la escuela y muy difícil de hacer a las nueve de la noche, cuando la respuesta ya está ahí, ya con formato y ya lo bastante buena para entregarla.

Primero la versión llana, porque esta preocupación necesita menos matices que ninguna otra página de aquí. Es en gran parte correcta. Estos sistemas producen texto prediciendo qué viene después, pieza a pieza. Que una frase encaje y que una frase sea verdadera no son la misma prueba, y solo se aplica la primera. Donde la respuesta verdadera era escasa o inexistente en aquello de lo que aprendió el modelo, una invención fluida sigue siendo la continuación más probable, así que lo que vuelve es una invención fluida.

Los casos concretos están documentados y son poco vistosos. Hay abogados que han presentado escritos judiciales citando sentencias que no existen, con nombres, tribunales y años verosímiles, y han sido sancionados por ello. Vuelven listas de lectura con libros que nadie escribió. Se atribuyen citas a personas que nunca las dijeron. Se inventan números de página de libros reales. Y la aritmética vuelve mal en medio de un desarrollo cuyos demás pasos están bien.

Fíjate en lo que falta en todo eso: un mensaje de error. El sistema no tiene un sentido aparte de lo que sabe. No está consultando algo y avisando de que no lo encuentra, porque no hay un almacén de hechos que consultar y por tanto no hay nada que no encontrar. Por eso las respuestas equivocadas se ven exactamente igual que las correctas. No porque el aviso esté escondido, sino porque no hay ningún aviso que mostrar. En el oficio a esto se le llama alucinación, y el nombre es desafortunado: sugiere una avería. Es el proceso de siempre, aplicado a una pregunta donde no acierta.

Si esto se puede resolver por ingeniería es algo genuinamente desconocido, y ninguno de los dos lados es ingenuo. Investigadores serios sostienen que el anclaje en fuentes, la recuperación de documentos, las capas de verificación y un mejor entrenamiento lo bajarán a la tasa de error de una herramienta corriente, que nunca ha sido cero en ninguna herramienta que use nadie. Otros sostienen que un sistema cuya operación entera consiste en predecir texto verosímil siempre podrá predecir una falsedad verosímil, y que ninguna envoltura cambia lo que hay debajo. Ninguna evidencia ha zanjado esto. Quien lo afirme sin matices en cualquiera de las dos direcciones te está contando una preferencia.

Si los hábitos de comprobación sobreviven al contacto con un martes por la noche es la segunda, y se habla mucho menos de ella. Es fácil escribir “verifica siempre” y difícil hacerlo en la cuarta pregunta a las nueve de la noche. Una herramienta que acierta diecinueve veces te desentrena de comprobar la vigésima, y eso no es un fallo de carácter: es cómo funciona la atención en todo el mundo. Nadie ha demostrado un diseño que mantenga viva la comprobación sin volver la herramienta lo bastante pesada como para abandonarla, y la presión comercial va en sentido contrario.

Debajo de las dos hay una pregunta que no tiene ninguna respuesta técnica. Si un sistema casi siempre acierta, y no puedes saber por adelantado cuál es la vez excepcional, ¿cuánto peso es razonable ponerle encima? Eso es un juicio sobre riesgo, no un hecho sobre modelos. Depende de qué se pregunta, de quién pregunta, de qué pasa si está mal y de cuánto tiempo tiene esa persona. Dos personas cuidadosas pueden poner esa línea en sitios muy distintos y estar razonando bien las dos.

Así que un padre o una madre que lee todo esto y decide que el intercambio no compensa lo ha leído correctamente. Mantener esto fuera de tu casa, o fuera de las tareas de tu hijo, no es no apreciar la tecnología ni negarse a ponerse al día. Es una conclusión sobre una herramienta que no te avisará cuando se equivoque, sacada de los mismos hechos con los que trabaja todo el mundo. El abanico razonable de respuestas aquí es amplio, y la que encaja con tu familia te toca elegirla a ti.