O GPT-5 RECONHECE A PRÓPRIA ESCRITA MELHOR DO QUE NÓS

No teste de Turing original, um interrogador humano troca mensagens escritas e tenta distinguir um homem de uma mulher. Em certo momento, o homem é substituído por uma máquina. Se o interrogador continua sem conseguir distinguir a máquina da mulher, diz-se que a máquina passou no teste. Turing o concebeu como um experimento mental filosófico, mas durante décadas ele serviu de referência para a inteligência artificial — e afirmações recentes de que chatbots como o ChatGPT finalmente passaram nele reavivaram uma velha pergunta: o que passar no teste prova de fato?

Duas maneiras de enganar um juiz

Uma equipe liderada por Cristina Becchio, do Centro Médico Universitário Hamburg-Eppendorf, observa que um interrogador enganado pode significar duas coisas muito diferentes.

• Uma falha de codificação. As respostas da máquina se sobrepõem tanto às humanas que o texto já não carrega nenhuma pista sobre sua origem. Nenhum observador, por mais habilidoso, conseguiria superar o acaso. Isso seria um resultado forte.
• Uma falha de leitura. As pistas estão no texto, mas o interrogador não as capta. Outro juiz — um artificial, por exemplo — poderia ter sucesso. O teste então diz mais sobre o juiz do que sobre a máquina.

O teste clássico mistura as duas coisas. Os autores acrescentam um terceiro nível, a metaleitura: um juiz consegue dizer corretamente quais pistas guiaram sua própria decisão?

Histórias estranhas, duas respostas

Para separar esses níveis, a equipe inverteu o teste de Turing: humanos e sistemas de IA ocuparam a cadeira do interrogador. O material veio do teste Strange Stories (Histórias Estranhas), um conjunto de oito pequenos cenários sociais — engano, ironia, persuasão, mal-entendido —, cada um terminando com uma pergunta sobre o que um personagem pensa ou por que age de certo modo. Humanos e modelos GPT os haviam respondido, e só as respostas corretas foram mantidas, para que um juiz não pudesse desmascarar a máquina por um raciocínio falho.

Cada interrogador via uma história e duas respostas a ela, uma humana e uma da IA, e tinha de escolher a humana ou a da IA, avaliar sua confiança e explicar por escrito sua escolha. Na primeira série de estudos, as respostas do GPT-4 foram julgadas por humanos e pelo GPT-4; na segunda, as respostas do GPT-5 foram julgadas por humanos e pelo GPT-5. Ao todo, 3.824 pessoas participaram pela plataforma Prolific, cada uma dando um único julgamento, pareadas com o mesmo número de execuções dos modelos.

O desempenho foi medido com uma métrica chamada sensibilidade, d′: zero significa chute, valores mais altos significam melhor discriminação, e um valor negativo significa que o juiz erra sistematicamente.

As pessoas escorregam, o GPT-5 se afia

Contra o GPT-4, os humanos se saíram razoavelmente bem, com d′ de 1,36 quando tinham de achar a resposta da IA e 1,10 quando tinham de achar a humana. O GPT-4 como juiz foi mais fraco, e na tarefa “ache o humano” sua pontuação foi negativa, de −1,11: ele apontava a resposta errada mais vezes do que a certa.

Contra o GPT-5, os humanos da segunda série caíram para 0,77 e 0,27 — ainda acima do acaso, mas por muito pouco na tarefa do humano. O GPT-5 como juiz fez o contrário, chegando a 2,09 e 2,01, bem acima dos humanos nas duas tarefas.

As pistas nunca sumiram

A queda humana foi uma falha de codificação? Para verificar, os pesquisadores mediram 12 características de cada resposta — comprimento, detalhe, erros de digitação, redundância, pontuação, legibilidade, tom analítico ou coloquial, entre outras — e treinaram um modelo estatístico simples para adivinhar a origem a partir delas. Ele acertou a origem em 98,3% das vezes para as respostas do GPT-4 (uma “acurácia balanceada” de 0,983, que tira a média de seu acerto nas duas ordens de apresentação das respostas) e ainda em 92,5% para o GPT-5. O GPT-5 soa mais humano, mas a informação continua lá.

O que mudou foram as pistas que a carregam. O GPT-4 se denunciava principalmente por respostas mais longas, menos erros de digitação e mais repetição. Com o GPT-5, a diferença de comprimento encolheu bastante, enquanto pontuação mais densa e menos erros de digitação se tornaram os sinais reveladores. Os juízes humanos continuaram se apoiando no comprimento — um hábito, sugerem os autores, calibrado em chatbots anteriores. As pessoas que diziam usar chatbots com frequência tinham se atualizado em parte: na tarefa “ache a IA”, elas pesavam corretamente a pontuação e os erros de digitação. O GPT-5, por sua vez, associava pontuação densa e redundância à IA e erros de digitação aos humanos, acompanhando quase perfeitamente as diferenças reais.

Pistas certas, direções erradas

O último nível comparou o que os juízes escreveram em suas explicações com aquilo em que suas escolhas realmente se apoiaram. Aqui a classificação se inverte. As explicações dos humanos correspondiam comparativamente bem às suas escolhas (um alinhamento de cerca de 0,63 na série do GPT-4, numa escala em que 1 significa que explicações e escolhas apontam na mesma direção). O GPT-5 citou muitas das características que de fato usava, mas errou a direção de algumas delas: nas duas tarefas, disse que um tom mais analítico, maior legibilidade e mais detalhe indicavam IA, enquanto suas escolhas associavam as três às respostas humanas. Suas explicações correspondiam à sua ponderação real muito menos do que as dos humanos.

Os autores não interpretam isso como pura invenção a posteriori, já que as explicações do GPT-5 continuaram acima do acaso nas duas medidas; o descompasso se limita a algumas características. Eles alertam que uma lacuna localizada assim pode criar uma ilusão de alinhamento para usuários que confiam nas explicações de um modelo.

O estudo abrange dois modelos da OpenAI, cada um julgando respostas de sua própria geração, em oito histórias curtas. Nessa escala de alinhamento, o GPT-5 marcou 0,297 numa tarefa e 0,296 na outra, significativamente abaixo dos humanos — com as mesmas três características invertidas nas duas vezes.