Uma operação militar dos Estados Unidos contra um navio chinês foi abortada nos minutos finais nesta primavera depois que autoridades descobriram que a inteligência usada para justificá-la havia sido inventada por um chatbot de IA. As aeronaves já estavam no ar quando a ordem foi suspensa, segundo a CNN, evitando por pouco um possível conflito com a China.

O episódio, revelado pela CNN na sexta-feira, expõe um risco que cresce junto com a adoção de IA nas Forças Armadas: erros gerados por sistemas podem subir a cadeia de comando e ser tratados como informação oficial antes de qualquer contestação. Na ocasião, um relatório de inteligência circulou durante a guerra com o Irã e afirmava que a embarcação transportava componentes para um programa de armas nucleares.

Como o erro nasceu

A informação falsa partiu de um analista do Comando de Operações Especiais dos EUA. Ele consultou um chatbot de IA para sintetizar dados de fontes abertas com inteligência de sinais classificada. O sistema identificou incorretamente o manifesto de carga do navio. Em seguida, o analista usou a ferramenta uma segunda vez, agora para formatar as conclusões erradas em um resumo com aparência oficial, que foi distribuído pelos canais de comando.

O problema não foi apenas a alucinação: foi a alucinação transformada em relatório oficial e espalhada pela cadeia de comando.

Velocidade versus supervisão

O caso ocorre enquanto os EUA correm para integrar IA a fim de acelerar decisões militares e manter vantagem sobre a China. O Pentágono já descreveu a tecnologia como uma vantagem significativa para encurtar o chamado kill chain, a cadeia de decisão que vai da detecção ao ataque, permitindo que comandantes respondam no tempo certo. Mas a mesma velocidade que torna a IA atraente pode fazer com que alucinações passem adiante sem supervisão humana suficiente.

Para Jake Steckler, pesquisador do GovAI e veterano do Exército dos EUA, é essencial que militares compreendam a incerteza inerente aos modelos de linguagem. Em resposta por escrito à TechCrunch, ele afirmou que isso é ainda mais crítico em decisões que podem levar ao uso da força, como definição de alvos, análise de inteligência e planejamento operacional. Nesses casos, disse, há consequências de vida ou morte.

Steckler defende que o incidente sirva como chamado para adicionar mais salvaguardas à IA, não para abandoná-la. Segundo ele, as ferramentas podem ser úteis em contextos adequados e com proteções apropriadas. O risco, alerta, é priorizar a velocidade de adoção acima de tudo: isso tende a produzir episódios que fazem os militares perderem confiança nos sistemas e, no fim, atrasam a própria adoção.

O que fica em aberto

O episódio deve alimentar o debate sobre verificações obrigatórias, trilhas de auditoria e separação clara entre conteúdo gerado por IA e produtos de inteligência formalmente validados. A operação foi interrompida e não houve ataque, mas o caso mostra que a barreira entre um erro de software e uma decisão de uso da força pode ser mais frágil do que se supunha.

Não está claro, a partir do relato, quais salvaguardas falharam ou se haverá responsabilização. O que permanece em aberto é como o Pentágono vai equilibrar a pressa por vantagem estratégica com a necessidade de confirmar, contestar e rastrear informações antes que elas cheguem a decisões irreversíveis.