QUANDO A IA COPIA A IA, ALGUÉM PRECISA CONTINUAR APRENDENDO
Treine um modelo generativo com a produção de um modelo anterior, e ele se degrada. Ao longo de gerações sucessivas, o conteúdo mais raro desaparece antes do comum, e o que o modelo produz se estreita. Esse colapso de modelo (model collapse) já foi bem estudado — e seus remédios também. Todos os remédios que funcionam trazem algo de fora do ciclo: dados humanos novos, dados reais preservados, verificadores, curadoria humana.
Nam Le, cientista da computação da Universidade de Vermont, aponta o que essas análises dão como certo. Elas tratam os dados novos como um arquivo fixo, disponível na quantidade que for necessária, e supõem que o mundo descrito fica parado. Nenhuma das duas coisas é verdade: o texto novo é escrito por pessoas, que cada vez mais perguntam aos modelos em vez de descobrir as coisas por si mesmas; e o mundo continua mudando.
Um velho paradoxo
As duas questões estão no centro de uma teoria mais antiga. Em 1988, Rogers descreveu o que hoje se chama paradoxo de Rogers: numa população em que a cópia se espalha porque é individualmente mais barata que aprender, todos acabam em situação nada melhor do que numa população que nunca copiou. As cópias ficam desatualizadas, e alguém precisa continuar pagando para aprender.
Trabalhos posteriores em evolução cultural refinaram a ideia. Um aprendiz crítico copia, confere a cópia com o mundo e aprende por conta própria se ela falhar; aprendizes assim aumentam o ganho de todos. Um aprendiz conformista copia o que é comum, o que é barato, mas desgasta as variantes raras.
O argumento de Le é que treinar um modelo com a produção de outro modelo é aprendizagem social exatamente nesse sentido, então a teoria deveria se aplicar. Em sua forma mais simples, ela fornece uma regra de uma linha para quanto conhecimento uma linhagem conserva quando uma parcela de seus dados de treino é nova.
Darwin e Moby-Dick, recopiados
Para testá-la, Le treinou linhagens de pequenos modelos de linguagem com dois livros do Projeto Gutenberg, A origem das espécies, de Darwin, e Moby-Dick, de Melville. Cada geração aprendia com o texto produzido pela anterior, misturado com algum texto novo do livro.
Alimentados apenas com a própria produção, modelos que operam palavra por palavra perderam quatro em cada cinco palavras raras em doze gerações. Uma amostra da geração inicial ainda diz “i cannot see that a genus become fitted for most justly celebrated elder huber”; na décima segunda, “struggle of the on that may inheritable detected i hybrids, kept.”
O mais impressionante é a previsão. Le ajustou o único parâmetro da regra — a chance de que um conhecimento copiado se perca a cada geração — apenas na linhagem totalmente autoalimentada e depois o usou, sem alteração, para prever linhagens com 10%, 30% ou 50% de dados novos. A previsão acertou quantas palavras raras elas conservaram com diferença de no máximo 3 pontos percentuais. Com uma segunda classe de conhecimento, frágil versus durável, a regra também valeu para um pequeno transformer e para um modelo de linguagem pré-treinado, o OPT-125m.
Quando o mundo se move
Em seguida, o próprio “mundo” passou a mudar: uma janela deslizando pelos dois livros, de modo que vocabulário novo continuava chegando e palavras antigas continuavam saindo. Quanto mais rápido ela se movia, mais dados novos uma linhagem autocopiadora precisava. Para conservar 80% do que um corpus inteiramente novo cobriria, a parcela de dados novos teve de subir de cerca de 30% para cerca de 45%. Os domínios que mudam rápido, prevê o artigo, serão os primeiros a se degradar à medida que o texto sintético se acumula.
O modelo pré-treinado se comportou de outro modo: seu conhecimento se manteve, com o mundo se movendo ou não. A leitura de Le é que seus pesos pré-treinados, herdados sem alteração a cada geração, são conhecimento que nunca passa pela cadeia de cópias. Com uma ressalva: o texto em movimento aqui era um texto que o modelo já tinha visto durante o pré-treino.
Pessoas no ciclo
Vem então a parte que dá título ao artigo. Le construiu um modelo em que as pessoas podem descobrir um fato por si mesmas, a um custo, ou perguntar à IA de graça e acertar apenas com a mesma frequência que a IA acerta. O que as pessoas escrevem se torna os dados de treino do próximo modelo, junto com algum texto que o próprio modelo escreve.
O equilíbrio é contundente:
- a IA acaba acertando com a frequência exata para que perguntar a ela compense exatamente tanto quanto descobrir por si mesmo, uma vez contado o custo de descobrir — qualquer que seja seu tamanho ou arquitetura;
- as pessoas, em conjunto, não ficam em situação melhor do que sem a IA: o paradoxo de Rogers, para humanos e máquinas juntos;
- quanto mais do texto de treino os próprios modelos escrevem, mais pessoas precisam continuar aprendendo por conta própria — o dobro quando metade do texto é escrita pelo modelo. Os dados novos, conclui Le, são pagos com esforço humano.
Há uma saída. Se as pessoas conferirem a resposta da IA com o mundo e reaprenderem quando ela estiver errada, o paradoxo se rompe: na simulação, o ganho médio se estabiliza em 0,93, contra 0,70 sem a IA. Ferramentas que tornam a verificação barata não são, nessa visão, uma comodidade, mas o que impede o sistema inteiro de colapsar.
Filtros que pioram as coisas
A mesma lente classifica os filtros usados para limpar dados sintéticos. Manter as amostras que um modelo considera mais plausíveis é cópia conformista, e nos experimentos isso acelerou a perda de palavras raras: o modelo pré-treinado conservou 5% delas, contra 57% quando metade das amostras era mantida ao acaso. Só os filtros que conferem o texto com o mundo agem como aprendizes críticos. Tudo isso foi mostrado com modelos pequenos, o maior com 125 milhões de parâmetros, e Le aponta o teste em grande escala como a principal questão em aberto.
