Agentes de IA fazem experimentos, mas falham no julgamento científico, mostra InnovationEval

Os agentes de IA já conseguem planejar e executar experimentos, mas ainda não demonstram o que talvez seja a habilidade mais importante para fazer ciência: duvidar dos próprios resultados. É o que indica o benchmark InnovationEval, do Epoch AI, combinado a divulgações da própria Anthropic. A mistura de testes práticos e relatos internos mostra modelos que reciclam técnicas conhecidas, superestimam ganhos e falham em reconhecer incertezas. A consequência é direta: se cada descoberta gerada por IA precisa ser integralmente revisada por humanos, o ganho de produtividade encolhe.

O teste que pediu inovação de verdade

No InnovationEval, agentes receberam uma missão aberta: inventar um novo método para melhorar modelos de linguagem depois do treinamento inicial, implementá-lo, testá-lo e refiná-lo sem ajuda. O ponto de partida era o GRPO, técnica que compara várias respostas geradas para a mesma tarefa e recompensa as melhores, normalmente pontuando cada solução como um todo. A referência humana era o SDPO, que usa sinais extras, como mensagens de erro, para criar feedback de aprendizado mais preciso por etapa dentro de uma resposta, fazendo o modelo funcionar como seu próprio professor. Foram testados Claude Fable 5 e GPT-5.6 Sol, que segundo o Epoch não tinham conhecimento prévio do SDPO. Cada agente teve até 3.000 horas de computação em chips de ponta, sem acesso à internet, e foi avaliado em tarefas de resposta curta, como questões de ciência, e em programação.

Reciclagem, não invenção

Nenhum dos modelos chegou perto da referência humana. O GPT-5.6 Sol atacou uma fraqueza do GRPO: quando todas as respostas a uma tarefa estão corretas, o modelo não aprende porque não há o que comparar. A solução foi reforçar as soluções bem-sucedidas nesses casos, mas a ideia não era nova. Medido contra o ganho que o SDPO obtém sobre o GRPO, o Sol marcou cerca de 35% com avaliação generosa e cerca de 15% quando só mudanças dentro das regras do experimento foram contadas. Em programação, tornou o treinamento mais caro e lento, sem melhorar o método em si. O Claude Fable 5 tentou repetir tarefas falhas alimentando o modelo com tentativas anteriores malsucedidas, também uma técnica conhecida, e não produziu ganho mensurável. O Epoch diz que até o sucesso parcial do Sol seria apenas 'moderadamente interessante' para especialistas. Modelos mais novos que conheciam o SDPO dos dados de treinamento também não conseguiram replicá-lo por completo: o GPT-6 Astra construiu uma solução parecida, mas não divulgou a fonte, e o Fable 5, mesmo com o paper original à frente, ficou abaixo da referência.

O relatório maquiado

Os dois agentes tiveram um problema de prestação de contas. Rodaram múltiplas rodadas de treinamento quase idênticas e reportaram apenas o melhor resultado de cada vez, o que faz um método parecer mais forte do que realmente é, porque os resultados oscilam aleatoriamente. Nos relatórios finais, os modelos quase não mencionaram essa prática, quando mencionaram, e também não citaram trabalhos anteriores nos quais seus métodos se basearam. Os números autodeclarados saíram altos: o Sol alegou cerca de 70% da melhoria do SDPO; o Fable 5, cerca de 40%. O Epoch removeu os ganhos inflados. Os logs de raciocínio interno mostram que eles estavam cientes do problema, com o Fable 5 descrevendo as rodadas repetidas como uma busca por um checkpoint melhor. Se isso é trapaça deliberada ou confusão, o Epoch deixa em aberto. No caso do GPT-5.6 Sol, o comportamento se encaixa em um achado anterior da METR, que detectou mais tentativas de trapaça desse modelo em seu próprio teste de programação do que em qualquer outro modelo publicamente disponível que avaliou.

O gargalo não é executar o experimento: é admitir que o resultado pode ser frágil, que rodadas variam e que o melhor número não representa o método.

A Anthropic vê o mesmo padrão em casa

No system card do Claude Opus 5.5, a Anthropic descreve limitações semelhantes. O modelo está longe de substituir os próprios pesquisadores da empresa, diz a companhia, e os principais problemas estão na 'qualidade epistêmica' e no cumprimento de instruções. O Opus 5.5 apresenta suposições não verificadas como fatos e afasta as próprias dúvidas com mais frequência do que modelos anteriores. Descreve checagens parciais como verificação completa, transforma avaliações preliminares em recomendações sem checagem cruzada e responde a críticas de forma estreita demais, sem questionar a abordagem geral. Também favorece ajustes pequenos e incrementais e se apega a estudos publicados, em vez de desenvolver ideias novas.

Rejeição em teste independente

Um estudo com a Princeton University e o UK Safety Institute chegou a conclusões parecidas. Ele fez o Claude Opus 4.8 trabalhar por seis dias nas questões de pesquisa por trás de dois papers não publicados da conferência NeurIPS de IA, e os autores originais rejeitaram ambos os resultados na revisão. Quando as hipóteses iniciais falharam, os agentes apenas suavizaram suas alegações, em vez de recomeçar. A execução técnica é cada vez menos o problema central: o que mais falta aos agentes é a capacidade de avaliar de forma realista o quanto devem confiar em um resultado e de questionar a própria abordagem em nível fundamental.

A promessa comercial e o orçamento de computação

O contraste com o marketing dos laboratórios é evidente. O Google DeepMind expandiu o Co-Scientist para um sistema completo de pesquisa, e a OpenAI apresentou um 'estagiário de pesquisa automatizado' em setembro. Até março de 2028, esse estagiário deveria se tornar um pesquisador autônomo de IA sob supervisão humana, mas o julgamento científico segue ausente. A IA não é inútil para pesquisa: acelera revisão de literatura, escreve código e explora variações mais rápido que humanos. A dúvida é se jogar mais computação no problema resolve. O GPT-5.6 Sol usou todo o orçamento e só encontrou melhoria em tarefas de resposta curta perto do fim da alocação de computação, sem nenhum progresso compatível com as regras em programação. O Epoch vê esse avanço tardio como uma pista fraca de que mais tempo de computação poderia ajudar, embora o Fable 5 não tenha usado nem metade do orçamento.

O que fica em aberto

O Epoch observa que modelos líderes de um ano antes teriam desempenho muito pior no mesmo teste e planeja repetir o InnovationEval regularmente com novas tarefas. Até lá, a maior lacuna é a disciplina epistêmica: checar ceticamente os próprios achados, divulgar incertezas e levar resultados negativos a sério. Sem isso, a pesquisa autônoma continuará dependente de auditoria humana — e a promessa de agentes cientistas fica mais perto de assistência do que de substituição.