GPT-5 RECONOCE SUS PROPIOS TEXTOS MEJOR QUE NOSOTROS

En la prueba de Turing original, un interrogador humano intercambia mensajes escritos e intenta distinguir a un hombre de una mujer. En algún momento, el hombre es sustituido por una máquina. Si el interrogador sigue sin poder distinguir a la máquina de la mujer, se dice que la máquina ha superado la prueba. Turing la concibió como un experimento mental filosófico; sin embargo, durante décadas ha servido de referencia para la inteligencia artificial, y las afirmaciones recientes de que chatbots como ChatGPT por fin la han superado han reavivado una vieja pregunta: ¿qué demuestra realmente superarla?

Dos maneras de engañar a un juez

Un equipo dirigido por Cristina Becchio, del Centro Médico Universitario de Hamburgo-Eppendorf, señala que un interrogador engañado puede significar dos cosas muy distintas.

• Un fallo de codificación. Las respuestas de la máquina se solapan tanto con las humanas que el texto ya no contiene ninguna pista sobre su origen. Ningún observador, por hábil que fuera, podría superar el azar. Sería un resultado contundente.
• Un fallo de lectura. Las pistas están en el texto, pero el interrogador no las capta. Otro juez —uno artificial, por ejemplo— podría acertar. En ese caso, la prueba dice más del juez que de la máquina.

La prueba clásica mezcla ambas cosas. Los autores añaden un tercer nivel, la metalectura: ¿puede un juez decir correctamente qué pistas guiaron su propia decisión?

Historias extrañas, dos respuestas

Para separar estos niveles, el equipo invirtió la prueba de Turing: tanto humanos como sistemas de IA ocuparon el puesto del interrogador. El material procedía de la prueba de las Historias Extrañas (Strange Stories), un conjunto de ocho breves escenarios sociales —engaño, ironía, persuasión, malentendido—, cada uno de los cuales termina con una pregunta sobre lo que piensa un personaje o por qué actúa como actúa. Humanos y modelos GPT los habían respondido, y solo se conservaron las respuestas correctas, para que un juez no pudiera desenmascarar a la máquina por un razonamiento erróneo.

Cada interrogador veía una historia y dos respuestas a ella, una humana y otra de la IA, y debía elegir la humana o la de la IA, valorar su grado de confianza y explicar su elección por escrito. En la primera serie de estudios, las respuestas de GPT-4 las juzgaron humanos y GPT-4; en la segunda, las respuestas de GPT-5 las juzgaron humanos y GPT-5. En total participaron 3.824 personas a través de la plataforma Prolific, cada una con un único juicio, emparejadas con otras tantas ejecuciones de los modelos.

El rendimiento se midió con un indicador llamado sensibilidad, d′: cero significa adivinar al azar, un valor más alto indica mejor discriminación y un valor negativo significa que el juez se equivoca de forma sistemática.

Las personas flaquean, GPT-5 se afina

Frente a GPT-4, los humanos lo hicieron razonablemente bien, con una d′ de 1,36 cuando se les pedía encontrar la respuesta de la IA y de 1,10 cuando se les pedía encontrar la humana. GPT-4 como juez fue más flojo, y en la tarea de «encontrar al humano» su puntuación fue negativa, de −1,11: señalaba la respuesta equivocada más a menudo que la correcta.

Frente a GPT-5, los humanos de la segunda serie bajaron a 0,77 y 0,27: todavía por encima del azar, pero apenas en la tarea humana. GPT-5 como juez hizo lo contrario y alcanzó 2,09 y 2,01, muy por encima de los humanos en ambas tareas.

Las pistas nunca desaparecieron

¿Fue el bajón humano un fallo de codificación? Para comprobarlo, los investigadores midieron 12 rasgos de cada respuesta —longitud, detalle, erratas, redundancia, puntuación, legibilidad, tono analítico o conversacional, entre otros— y entrenaron un sencillo modelo estadístico para adivinar el origen a partir de ellos. Acertó el origen el 98,3% de las veces con las respuestas de GPT-4 (una «exactitud equilibrada» de 0,983, que promedia su acierto en los dos órdenes de presentación de las respuestas) y todavía el 92,5% con las de GPT-5. GPT-5 suena más humano, pero la información sigue ahí.

Lo que cambió fue qué pistas la transportan. GPT-4 se delataba sobre todo por sus respuestas más largas, con menos erratas y más repeticiones. Con GPT-5, la diferencia de longitud se redujo mucho, mientras que una puntuación más densa y menos erratas se convirtieron en las señales reveladoras. Los jueces humanos siguieron apoyándose en la longitud, un hábito, sugieren los autores, calibrado con chatbots anteriores. Las personas que decían usar chatbots a menudo se habían actualizado en parte: en la tarea de «encontrar a la IA» ponderaban correctamente la puntuación y las erratas. GPT-5, por su parte, asociaba la puntuación densa y la redundancia a la IA, y las erratas a los humanos, lo que coincidía casi a la perfección con las diferencias reales.

Pistas correctas, direcciones equivocadas

El último nivel comparaba lo que los jueces escribían en sus explicaciones con aquello en lo que realmente se basaban sus elecciones. Aquí la clasificación se invierte. Las explicaciones de los humanos coincidían relativamente bien con sus elecciones (una alineación de alrededor de 0,63 en la serie de GPT-4, en una escala en la que 1 significa que explicaciones y elecciones apuntan en la misma dirección). GPT-5 nombró muchos de los rasgos que de verdad utilizaba, pero se equivocó en la dirección de algunos: en ambas tareas dijo que un tono más analítico, una mayor legibilidad y más detalle apuntaban a la IA, mientras que sus elecciones asociaban los tres a las respuestas humanas. Sus explicaciones encajaban con su ponderación real mucho peor que las de los humanos.

Los autores no lo interpretan como una pura invención a posteriori, ya que las explicaciones de GPT-5 se mantuvieron por encima del azar en ambas medidas; el desajuste se limita a unos pocos rasgos. Advierten de que una brecha tan localizada puede crear una ilusión de alineación en los usuarios que confían en las explicaciones de un modelo.

El estudio abarca dos modelos de OpenAI, cada uno juzgando respuestas de su propia generación, sobre ocho historias breves. En esa escala de alineación, GPT-5 obtuvo 0,297 en una tarea y 0,296 en la otra, significativamente por debajo de los humanos, con los mismos tres rasgos invertidos en ambos casos.