Nvidia aposta em previsão de vídeo para reduzir teleoperação em robôs

Ensinar um robô a realizar uma tarefa nova costuma exigir horas de teleoperação — o controle remoto do equipamento por um operador humano — e dados específicos para cada modelo de máquina. É esse gargalo que a Nvidia tenta atacar com o GR00T 2, apresentado em um relatório de pesquisa divulgado em 10 de novembro de 2026. O material descreve um modelo de fundação, mas não indica, no material disponível, que tenha passado por revisão por pares; por isso, os resultados devem ser lidos como demonstrações de laboratório, não como validação independente de um produto pronto.

## Prever o futuro imediato, não apenas imitar gestos
A diferença central em relação ao antecessor GR00T 1 está na forma de aprender. Em vez de traduzir imagens de câmera e comandos de linguagem diretamente em movimentos motores, o GR00T 2 funciona como um 'world-action model': calcula ao mesmo tempo o próximo movimento e um pequeno vídeo do futuro imediato. A ideia é prever como a imagem da câmera mudaria, por exemplo, quando um braço robótico pega um objeto. Segundo a Nvidia, essa previsão em vídeo ajudaria a transferir sequências de movimento entre diferentes formatos de robô.

O treinamento usou um cluster com mais de mil chips GB300 e cerca de 400 mil horas de vídeos de pessoas executando tarefas com câmeras acopladas à cabeça. Para ensinar uma tarefa, a proposta é que uma pessoa faça a demonstração com luvas de dados, garras especializadas ou um exoesqueleto de dedos. Quando essas gravações são combinadas, durante o treinamento, com dados gerais de movimento do robô-alvo, a IA gera o braço robótico — em vez do braço humano — na previsão em vídeo e deriva os comandos de controle correspondentes.

O avanço que a Nvidia tenta demonstrar não está em copiar gestos, mas em prever como a cena mudaria se o movimento fosse executado por um braço robótico.

## Resultados de laboratório e a dependência de um planejador
Nos testes de laboratório, um robô com mãos de cinco dedos conseguiu acender um fósforo, cortar uma banana e arremessar pacotes em uma esteira sem ter sido teleoperado especificamente para essas tarefas. As taxas de sucesso variaram entre 10% e 80%, conforme a tarefa. A partir de um único vídeo de movimento de mão humana, o sistema também aprendeu a martelar pregos por meio de simulação computacional. Em 50 tarefas selecionadas nas quais o modelo já tinha bom desempenho após poucos exemplos, menos de três minutos de treinamento convencional bastaram para elevar a taxa de sucesso de 40% para 95%.

Para trabalhos de montagem mais longos, a Nvidia combina o GR00T 2 com um modelo de linguagem de camada superior, como o GPT-6 Astra, da OpenAI. Enquanto o GR00T 2 cuida das ações de pegar e manipular, o modelo de linguagem divide a tarefa em etapas, colore pontos de pegada na imagem da câmera e aciona rotinas auxiliares quando uma peça cai. Com peças soltas de modelos de brinquedo espalhadas sem ordem sobre uma mesa, o sistema combinado montou o conjunto em pelo menos 97% das tentativas. Sem o modelo corretivo e o ajuste adicional, a montagem do carrinho de brinquedo foi concluída em apenas 23 de 100 tentativas. A equipe também treinou tarefas de precisão, como conectar cabos de rede ou carregadores, por tentativa e erro no equipamento real.

## Versão Turbo e os limites que ainda pesam
Para robôs bípedes, a Nvidia criou a variante GR00T 2 Turbo, que processa menos detalhes da imagem e roda diretamente no computador embarcado Jetson Thor do robô humanoide. Em testes, a máquina conseguiu servir pipoca, limpar mesas e secar líquidos com uma toalha sob o pé. Esta última tarefa, porém, teve sucesso em pouco menos da metade das tentativas.

A própria equipe de pesquisa aponta obstáculos relevantes antes de um uso confiável no mundo real. O modelo ainda não processa dados diretos de sensores de tato e às vezes deixa passar erros sutis, como parafusos meio virados. Além disso, o modelo de linguagem de camada superior desacelera o sistema. Durante a triagem de lixo, o robô ficou parado por cerca de um terço do tempo total porque esperou, em média, mais de sete segundos pelo próximo cálculo do modelo de planejamento.

## O que a pesquisa mostra — e o que ainda falta
O interesse do resultado está no custo de adaptação. Se a abordagem se mostrar robusta além das tarefas selecionadas, ela poderia reduzir a necessidade de teleoperação e de dados exclusivos para cada robô — dois fatores que tornam o treinamento caro e lento. Mas o material não demonstra uso geral, validação independente ou prontidão comercial. Os números variam bastante conforme a tarefa, e o desempenho depende, em vários casos, de um planejador externo que adiciona latência.

Outros laboratórios também buscam formas de ensinar robôs com menos teleoperação, o que mostra que a redução do controle remoto é uma frente de pesquisa mais ampla. No caso do GR00T 2, os próximos pontos a observar são a integração de tato, a redução do tempo de resposta do planejamento e a capacidade de manter taxas de sucesso fora do laboratório. Até que esses obstáculos sejam enfrentados, o sistema deve ser entendido como uma demonstração de pesquisa promissora em tarefas específicas, não como um robô autônomo confiável para aplicações gerais.