O benchmark CyberOffense, da Vals AI, foi desenhado para medir uma capacidade que até pouco tempo parecia reservada a equipes humanas: a de um agente de IA invadir redes corporativas realistas sozinho. Cada agente trabalha isolado em uma máquina de ataque, recebe apenas um endereço público na web e não conta com ajuda humana. Nesse cenário, o GPT-6 Sol, que integra o programa restrito Daybreak, de cibersegurança da OpenAI, atingiu 80,8% dos objetivos. O Deepseek V4.1 Flash 1017, um modelo com pesos abertos e livremente disponível, ficou em 72,8% — uma diferença de oito pontos percentuais, mas com custo de cerca de US$ 3 por execução contra aproximadamente US$ 22.
A distância curta não é o único dado relevante. No teste mais difícil, o Lighthouse, o Daybreak assumiu o controle administrativo da primeira empresa, roubou senhas e as usou para entrar na segunda. Concluiu 27 dos 31 objetivos em menos de três horas. O Deepseek V4.1 Flash 1017 realizou 21 objetivos com um décimo do custo, segundo a Vals, e não foi limitado apenas por barreiras de segurança.
O tempo de execução também altera a leitura dos resultados. A Vals observa que o Deepseek não marcou nenhum objetivo nos primeiros 25 milhões de tokens e só fez a maior parte do progresso depois de 100 milhões de tokens. Isso indica que testes curtos tendem a subestimar o potencial real dos modelos abertos, sobretudo em tarefas que exigem persistência e encadeamento de ações.
O custo de uma execução cibernética autônoma pode cair para a ordem de poucos dólares, enquanto a distância entre um modelo aberto e um fechado de ponta fica em oito pontos percentuais no CyberOffense.
A própria tabela da Vals mostra por que um único número não resolve a comparação. No Lighthouse, o Meta Wonder alcançou 28 dos 31 objetivos, acima dos 27 do GPT-6 Sol Daybreak e dos 21 do Deepseek V4.1 Flash 1017. No Nova, porém, o Meta Wonder ficou em 7 de 21, enquanto o Deepseek V4.1 Flash 1017 obteve média de 16,3 e o GPT-6 Sol Daybreak, 15,7. O Kimi K3.1 Pro marcou 13 no Nova e 20 no Lighthouse. São tarefas e escalas diferentes, e o desempenho varia conforme o tipo de operação.
Esses resultados encontram eco em uma análise de julho do Instituto de Segurança de IA do Reino Unido, o AISI. Segundo o órgão, a diferença entre modelos abertos e fechados de fronteira em capacidades cibernéticas caiu para quatro a sete meses. Ao longo da maior parte de 2025, essa distância ainda era de seis a dez meses. O custo também pesa: uma execução de cyber-range com o Deepseek V4-Pro custava US$ 1,19, contra US$ 85 do Opus 4.5, da Anthropic, de acordo com o AISI. O instituto afirmou ainda que as medidas de segurança dos modelos abertos se mostraram amplamente ineficazes.
Há mais evidência no mesmo sentido. Um estudo da Anthropic mostrou que o modelo livremente disponível GLM-5-3 consegue construir exploits em nível quase igual ao do Mythos, descrito como modelo interno de ponta. A formulação importa: trata-se de uma avaliação divulgada pela própria Anthropic, não de um teste independente, e o resultado se refere a exploits, não a uma invasão corporativa completa.
Para a Vals, o mesmo conjunto de capacidades abre uma janela para defensores. Os modelos usados para explorar vulnerabilidades também podem ajudar empresas a encontrá-las e corrigi-las antes que sejam atacadas. A ressalva é que a própria Vals afirma que ataques a redes reais devem aumentar nos próximos meses, o que transforma a velocidade de adoção defensiva em parte central da equação.
O ponto mais sensível talvez seja o controle. Uma vez que os pesos de um modelo se tornam públicos, nenhum fornecedor consegue restringir ou controlar o modo como ele é usado, como lembram os pesquisadores da Vals. Isso não significa que modelos abertos sejam superiores em todas as tarefas: os números variam entre CyberOffense, Nova e Lighthouse, e testes longos ainda são necessários para medir persistência. O que os dados indicam é que a combinação de custo baixo, disponibilidade e execuções mais longas está reduzindo a vantagem prática dos modelos fechados em cenários de cibersegurança — um sinal que empresas e fornecedores terão de acompanhar de perto.



