Pular para o conteúdo principal
SEEED STUDIO · ANÁLISE DETALHADA DE ARTIGO

GR00T N1: Como uma Arquitetura de Sistema Duplo Suporta o Controle Humanoide Generalista

GR00T N1: Um Modelo Fundamental Aberto para Robôs Humanoides Generalistas

  • Robôs humanoides
  • Arquitetura de sistema duplo
  • Pirâmide de dados
  • Flow matching
arXivLer o artigo

GR00T N1.7: Adaptação e Fine-Tuning​

Esta leitura cobre o artigo original do GR00T N1. Para trabalho prático com o GR00T N1.7 (nvidia/GR00T-N1.7-3B), siga o curso reBot existente:

As configurações experimentais do N1 discutidas abaixo pertencem ao artigo original. Use os tutoriais do N1.7 para configuração de treinamento e implantação específicas da versão.

Pré-requisitos​

De ACT a GR00T N1: O Loop de Aprendizado é o Mesmo​

Se você já usou LeRobot + ACT, este fluxo de trabalho é familiar:

Human teleoperation
↓
Collect camera / state / action data
↓
Organize an episode dataset
↓
Train a policy
↓
Observation → Action chunk → On-robot execution

GR00T N1 ainda responde à mesma pergunta:

Dado o que o robô vê, seu estado atual e a solicitação do usuário, como ele deve se mover em seguida?

Normalmente, o ACT aprende um robô e uma família de tarefas a partir de demonstrações. GR00T N1 busca priors gerais a partir de múltiplos robôs, vídeos humanos e dados sintéticos antes de se adaptar a um robô real específico.

GR00T N1 Paper Deep-Dive: 1.1 From ACT to GR00T N1: The Learning Loop Is the Same (image-11)

ACT começa com uma habilidade concreta; GR00T N1 primeiro aprende uma base comum entre corpos e tarefas, depois aprende a usar o robô atual.

Observação, Estado, Ação e Embodiment​

Os três termos introduzidos com ACT mantêm seu significado:

  • Observação: informação de sensores externos, como imagens RGB da cabeça, do punho e de múltiplas vistas.

  • Estado: a configuração do robô, incluindo ângulos de juntas, abertura do gripper, pose do efetuador final, estado da cintura ou do pescoço.

  • Ação: controles solicitados, potencialmente alvos de juntas, incrementos, poses do efetuador final ou comandos do gripper.

Embodiment inclui mais do que aparência. Ele combina definições de corpo e de controle:

Robot structure
+ Sensors
+ State definition
+ Action definition
+ Control frequency and mode
= One embodiment

Um único Franka, um sistema bimanual e um humanoide GR-1 têm dimensões de estado/ação diferentes. Compartilhar um modelo entre esses corpos é um desafio central.

VLA, Action Chunking e Flow Matching​

GR00T N1 Paper Deep-Dive: 1.3 VLA, Action Chunking, and Flow Matching (image-09)

Uma VLA adiciona linguagem de tarefa às entradas visuais da política. A linguagem identifica qual objeto manipular, para onde ele deve ir e se o comportamento corresponde ao pedido; não é um contexto decorativo.

Um action chunk, como em ACT, prevê uma curta sequência futura em vez de uma única ação. GR00T N1 define H = 16.

Flow matching pode ser entendido como refinar ações aleatórias em um chunk executável sob condicionamento de imagem, linguagem e estado. O artigo usa apenas K = 4 atualizações de inferência.


Resumo​

Robôs de uso geral precisam de corpos capazes e modelos inteligentes. Humanoides são promissores para ambientes humanos, mas compreender novas situações, lidar com variações do mundo real e aprender rapidamente novas tarefas exige modelos fundamentais treinados em dados grandes e diversos.

GR00T N1 é um modelo fundamental aberto para humanoides com uma arquitetura VLA de sistema duplo. Um módulo de visão e linguagem, Sistema 2, interpreta imagens e instruções; um Transformer de difusão, Sistema 1, gera ações suaves em tempo real. Os módulos são fortemente conectados e treinados em conjunto de ponta a ponta.

O treinamento mistura trajetórias reais, vídeos humanos e dados sintéticos. GR00T N1 supera as bases de comparação de aprendizado por imitação em benchmarks de simulação entre diferentes embodiments e aprende tarefas bimanual condicionadas por linguagem de forma eficiente no humanoide Fourier GR-1.

Três ideias organizam o artigo:

  1. VLA de sistema duplo: um componente interpreta, outro age.

  2. Dados heterogêneos: usar vídeos humanos, simulação e vídeos gerados junto com demonstrações de robôs.

  3. Compartilhamento entre embodiments: corpos diferentes compartilham capacidades centrais em vez de receber modelos totalmente independentes.


Introdução e Trabalhos Relacionados​

Hardware, Modelos, Dados e Ilhas de Dados​

A introdução identifica três elementos necessários:

  • Hardware determina a capacidade física. Humanoides são atraentes porque ambientes humanos são projetados para corpos humanos.

  • Modelos devem lidar com tarefas abertas, não um comportamento fixo.

  • Dados determinam a exposição a ambientes, objetos, tarefas e corpos.

Modelos de linguagem e visão podem aprender a partir da internet, mas a robótica não tem um equivalente de internet de ações. Dados reais são caros e lentos de coletar, e robôs diferem em juntas, sensores e controles.

Juntar datasets ainda pode deixar ilhas de dados: arquivos compartilham um banco de dados, mas não espaços de semântica ou de ação.

O artigo, portanto, pergunta não apenas como projetar uma política, mas também como unificar seu corpus de treinamento.

A Pirâmide de Dados​

GR00T N1 Paper Deep-Dive: 3.2 The Data Pyramid (image-12)

NívelDadosQuantidade relativaRelação com o robô
BaseDados da web + vídeos humanosMaiorConceitos ricos de ação sem comandos diretos de robô.
MeioSimulação + trajetórias neuraisGrandeEscalável e controlável, mas com viés de simulação ou geração.
TopoDados de robôs no mundo realMenorMais próximo da execução, mais caro de coletar.

Subir na pirâmide reduz a quantidade, mas aumenta a especificidade para o embodiment alvo.

Vídeos humanos: quais ações e tarefas existem Simulação / geração: como essas tarefas podem variar Dados de robôs reais: como este corpo deve executá-las


Arquitetura do GR00T N1​

Sistema 2 Entende; Sistema 1 Age​

GR00T N1 Paper Deep-Dive: 4.1 System 2 Understands; System 1 Acts (image-17)

A arquitetura toma emprestada uma analogia de sistema duplo da cognição:

  • Sistema 2: Eagle-2 VLM, interpretando imagens, linguagem e tarefas.

  • Sistema 1: Transformer de difusão (DiT), gerando ações contínuas rapidamente.

Estes não são programas independentes: cross-attention os conecta de forma estreita e o treinamento os otimiza conjuntamente.

Eagle-2 contém um modelo de linguagem e um codificador de imagens. As imagens entram em 224 × 224, produzindo 64 tokens por quadro. Os autores usam recursos VLM intermediários da camada 12 em vez de recursos finais, melhorando a velocidade e o sucesso em tarefas posteriores em seus experimentos.

O Sistema 2 opera a cerca de 10 Hz em uma NVIDIA L40, enquanto o sistema de ação pode gerar controles em malha fechada em uma taxa mais alta. A interpretação de alto nível não precisa ser recomputada a cada milissegundo, enquanto o movimento deve permanecer contínuo.

Conectando Diferentes Robôs a um Único DiT​

GR00T N1 Paper Deep-Dive: 4.2 Connecting Different Robots to One DiT (image-13)

Existem dois tipos de módulos:

  • Núcleo compartilhado: VLM e DiT compartilham conhecimento visual, de linguagem e comportamental entre robôs.

  • Interfaces específicas de embodiment: codificador de estado, codificador de ação e decodificador de ação traduzem dimensões de plataforma e semântica de controle de e para recursos compartilhados.

MóduloFunçãoPor que específico de embodiment?
Codificador de estadoCodificar o estado atual como tokens.Campos e dimensões de estado diferem.
Codificador de açãoCodificar ações ruidosas e o tempo de geração.Dimensões de ação diferem.
Decodificador de açãoConverter recursos do DiT em controles.Modos de controle de juntas, efetuador final e gripper diferem.

Comentário: Aprendizado entre robôs diferentes não é apenas preencher vetores com zeros até terem o mesmo comprimento. Dimensões iguais são sem sentido sem saber que junta, pose ou comando cada valor representa.

Chunks de Ação com Flow-Matching​

No tempo t, predizer uma sequência em vez de uma única ação:

A_t = [a_t, a_(t+1), ..., a_(t+H-1)]
H = 16

O treinamento começa com o chunk real A_t, ruído Gaussiano ε e tempo de fluxo τ, construindo:

A_t^τ = τ A_t + (1 - τ) ε
  • Perto de τ=0, o chunk se assemelha a ruído.

  • Perto de τ=1, ele se assemelha a ações reais.

O DiT lê recursos de visão-linguagem, recursos de estado e ações ruidosas para aprender uma direção de atualização. O artigo escreve a loss como:

L_fm(θ)
= E_τ [ || V_θ(φ_t, A_t^τ, q_t) - (ε - A_t) ||² ]

Aqui φ_t denota recursos de VLM e q_t recursos de estado do robô.

Na inferência não há ação futura real, então ela começa a partir de ruído e realiza quatro atualizações de Euler direto:

A_t^0 ~ N(0, I)

A_t^(τ+1/K)
= A_t^τ + (1/K) V_θ(φ_t, A_t^τ, q_t)

K = 4

GR00T-N1-2B tem 2,2B de parâmetros totais, incluindo cerca de 1,34B no VLM. Em uma L40, gerar um chunk de 16 passos leva cerca de 63,9 ms.


Dados e Treinamento​

Usando Vídeos sem Ações de Robô​

Trajetórias de robô supervisionam diretamente imagens, estados e ações. Vídeos humanos e gerados contêm imagens, mas nenhum comando de junta de robô.

GR00T N1 adiciona supervisão semelhante a ações de duas maneiras.

Ações latentes aprendem códigos comportamentais discretos a partir de mudanças visuais, em vez de ângulos de junta exatos: conceitos como mover para a esquerda, agarrar ou empurrar.

GR00T N1 Paper Deep-Dive: 5.1 Using Videos without Robot Actions (image-01)

Estas podem abranger diferentes corpos: mãos humanas e garras de robô têm juntas diferentes, mas ambas podem mover um objeto para a esquerda na imagem.

Um modelo de dinâmica inversa (IDM) infere ações entre observações:

Observation_t + Observation_(t+1)
↓
IDM
↓
Pseudo Action Label

Ações latentes se assemelham a um vocabulário comportamental sem unidade; saídas de IDM se assemelham a rótulos de pseudo-ações. Nenhuma das duas torna os vídeos demonstrações físicas perfeitas. Elas tornam dados apenas de imagem utilizáveis para pré-treinamento.

Trajetórias Neurais e Simulação: Mais Variação a partir de Menos Demonstrações​

A geração de vídeo começa a partir de imagens reais de robô e varia prompts de linguagem para sintetizar tarefas, posições de objetos e trajetórias. Estas são trajetórias neurais.

GR00T N1 Paper Deep-Dive: 5.2 Neural Trajectories and Simulation: More Variation from Fewer Demonstrations (image-00)

Os autores expandem 88,4 horas de teleoperação interna para 827,3 horas de vídeo gerado, quase dez vezes mais. A geração pode mover objetos de forma impossível, distorcer contatos ou deformar o robô, então filtros baseados em modelo de linguagem e regras removem amostras de baixa qualidade antes que ações latentes ou IDM forneçam supervisão.

GR00T N1 Paper Deep-Dive: 5.2 Neural Trajectories and Simulation: More Variation from Fewer Demonstrations (image-08)

A simulação, por sua vez, é executada em um motor de física. Métodos como DexMimicGen redirecionam demonstrações centradas em objetos para novas cenas, produzindo cerca de 780.000 trajetórias simuladas, aproximadamente 6.500 horas.

Diferença:

  • Trajetórias neurais fornecem variação visual e semântica, mas confiabilidade física limitada.

  • A simulação fornece ações exatas e interações físicas, mas mantém um gap sim-to-real.

Pré-Treinamento e Pós-Treinamento​

Dados de teleoperação vêm de Manus, VIVE, Apple Vision Pro, Leap Motion e outros dispositivos, redirecionados para os robôs.

GR00T N1 Paper Deep-Dive: 5.3 Pre-Training and Post-Training (image-05)

GR00T N1 Paper Deep-Dive: 5.3 Pre-Training and Post-Training (image-15)

Pós-treinamento não é nem treinar do zero nem controle zero-shot imediato de robôs arbitrários. Ele adapta a fundação para uma configuração de câmera, estado, interface de ação e tarefa alvo.

ConfiguraçãoPré-treinamentoPós-treinamento
Tamanho de batch16.384128 ou 1.024
Passos de Gradiente200.00020.000-60.000
Dados principaisMúltiplos corposUm corpo / tarefa
PropósitoPriors geraisAdaptação a um corpo e tarefa específicos

O pré-treinamento do GR00T-N1-2B usa cerca de 50.000 horas de GPU H100. O conjunto de dados totaliza 8.375,7 horas e 592,9M quadros.

Visão em uma frase: O pré-treinamento fornece ampla experiência de mundos e corpos; o pós-treinamento ensina o modelo a usar este robô em particular.


Experimentos e Resultados​

Como a Efetividade é Testada?​

Testes em simulação e físicos examinam priors de pré-treinamento e adaptação com dados limitados, em vez de apenas ajustar tarefas de treinamento.

GR00T N1 Paper Deep-Dive: 6.1 How Is Effectiveness Tested? (image-10)

Benchmarks em simulação incluem:

  • RoboCasa Kitchen: 24 tarefas de cozinha.

  • DexMimicGen Cross-Embodiment Suite: nove tarefas de manipulação entre robôs diferentes.

  • GR-1 Tabletop: 24 tarefas humanoides de mesa.

Testes reais com o GR-1 incluem pick-and-place, objetos articulados, manipulação industrial e cooperação multi-robô.

GR00T N1 Paper Deep-Dive: 6.1 How Is Effectiveness Tested? (image-03)

As principais comparações são BC-Transformer e Diffusion Policy. GR00T N1 difere não apenas em tamanho e arquitetura, mas em pré-treinamento heterogêneo entre corpos diferentes, então os resultados refletem também dados e treinamento.

Priors Ajudam com Poucos Dados?​

O pós-treinamento em simulação usa 30, 100 ou 300 demonstrações por tarefa. As principais tendências são:

  • Priors ajudam mais quando os dados da tarefa são escassos.

  • Com mais dados, uma Diffusion Policy dedicada reduz a diferença, mas GR00T N1 mantém forte eficiência de dados.

  • Em alguns cenários, cerca de 10% dos dados da tarefa se aproxima de uma Diffusion Policy treinada com todos os dados.

GR00T N1 Paper Deep-Dive: 6.2 Do Priors Help with Little Data? (image-16)

A implicação prática é:

O valor de um modelo de fundação não é não precisar de dados; é aprender de forma eficaz a partir de um ponto de partida pré-treinado quando seus dados são limitados.

Trajetórias Neurais Melhoram o Comportamento Real?​

Ablations comparam apenas dados reais, vídeos gerados rotulados com ações latentes e vídeos gerados com pseudo-ações de IDM.

GR00T N1 Paper Deep-Dive: 6.3 Do Neural Trajectories Improve Real Behavior? (image-02)

Trajetórias sintéticas melhoram algumas tarefas, com IDM frequentemente se conectando de forma mais direta a espaços de ação reais do que códigos latentes. Mais geração não é automaticamente melhor: erros físicos e viés de pseudo-rótulos entram no treinamento também.

Os autores também observam passagens espontâneas de mão esquerda para direita em um modelo pré-treinado que podem desaparecer após um pós-treinamento focado em tarefas estreitas.

GR00T N1 Paper Deep-Dive: 6.3 Do Neural Trajectories Improve Real Behavior? (image-04)

Isso ilustra o esquecimento catastrófico: um fine-tuning focado pode elevar uma métrica alvo enquanto sobrescreve capacidades mais amplas pré-treinadas.


Limitações, Implicações Práticas e Resumo​

O que Permanece sem Solução?​

  • Principalmente tarefas curtas de mesa. Navegação de longa duração, movimento de corpo inteiro e planejamento conjunto permanecem como trabalhos futuros.

  • Raciocínio espacial limitado. Reconhecer um objeto não implica compreensão precisa de 3D, contato ou força.

  • Inconsistências físicas sintéticas. Vídeo com aparência plausível não garante movimento executável.

  • Esquecimento durante o pós-treinamento. A adaptação deve ser avaliada quanto à retenção de generalização, bem como quanto ao sucesso no alvo.

Conectando à Prática com LeRobot​

O apêndice de engenharia estende o formato de conjunto de dados do LeRobot. Armazenar números é insuficiente; seus significados devem ser definidos.

ConteúdoInformação a especificar
VídeoNomes de câmeras, visões, resolução, taxa de quadros e alinhamento temporal.
EstadoA junta ou pose representada por cada dimensão.
AçãoAlvos absolutos ou incrementais; controles de junta ou de efetuador final.
LinguagemInstruções associadas a cada episódio.
RotaçãoMatriz de rotação, ângulos de Euler, quaternion ou representação 6D.

modality.json adiciona essas semânticas, abordando se o modelo entende o sétimo número, não apenas se ele consegue abrir o arquivo.

Para leitores com conjuntos de dados ACT, as considerações adicionais são:

EstágioPrática ACTConsiderações adicionais para foundation-VLA
ColetaAlinhar câmeras, estado e ações.Anotações de linguagem estáveis.
DadosConsistência dentro de um robô.Consistência semântica entre diferentes corpos.
TreinamentoAprender uma política a partir de demonstrações.Pós-treinar um checkpoint de fundação.
InferênciaImagem + estado → chunk de açãoImagem + linguagem + estado → chunk de ação
AvaliaçãoSucesso no robôSucesso, generalização e retenção de capacidades pré-treinadas
Loading Comments...