Pular para o conteúdo principal
Módulo 3 · Capítulo 11 · Get Your Own VLA Model

11. Avaliar no ambiente real

Implantando o GR00T N1.7 ajustado no mundo real: um servidor de políticas roda o modelo e um cliente de robô dirige o seguidor SO-101 em malha fechada.

11.1 Arquitetura de implantação​

Design desacoplado

11.1 Arquitetura de implantação

A arquitetura de implantação do Isaac GR00T separa inferência de controle:

  • Lado de inferência (servidor): dedicado exclusivamente a executar o modelo;
  • Lado de controle (cliente): responsável por adquirir o estado do braço e coordenar seu controle de movimento.

Servidor e cliente podem rodar em dois dispositivos separados (por exemplo, uma estação com GPU servindo políticas para um robô em Jetson — capítulo 18) ou, como demonstrado aqui, ambos num único computador.

VRAM

A avaliação numa única máquina exige uma GPU NVIDIA com VRAM para o modelo GR00T de 3B — a mesma classe que o ajustou (capítulo 10).

A avaliação usa o cliente de robô real SO-101 do workshop da NVIDIA, que cuida da malha fechada completa: as observações entram, volta um bloco de 16 ações, e o cliente alinha no tempo e mescla as previsões sobrepostas antes de transmitir comandos de motor ao seguidor a 30 Hz.

11.2 Terminal 1: iniciar o servidor de inferência​

Servidor de políticas

11.2 Terminal 1: iniciar o servidor de inferência

O contêiner de robô real da NVIDIA monta os scripts de avaliação e o diretório de checkpoints. Inicie montando seu diretório de saída:

cd ~/Sim-to-Real-SO-101-Workshop
docker run -it --rm --name real-robot --network host --privileged --gpus all \
-e DISPLAY \
-v /dev:/dev \
-v /run/udev:/run/udev:ro \
-v $HOME/.Xauthority:/root/.Xauthority \
-v /tmp/.X11-unix:/tmp/.X11-unix \
-v $HOME/.cache/huggingface/lerobot/calibration:/root/.cache/huggingface/lerobot/calibration \
-v $HOME/groot_so101_real:/workspace/models/so101 \
-v $(pwd)/docker/real/scripts:/Isaac-GR00T/gr00t/eval/real_robot/SO100 \
real-robot \
/bin/bash

Dentro do contêiner, inicie o servidor no seu checkpoint:

python Isaac-GR00T/gr00t/eval/run_gr00t_server.py \
--model-path /workspace/models/so101/checkpoint-5000

O servidor escuta na porta 5555 e continua rodando entre rollouts — entre tentativas só o cliente é parado.

11.3 Terminal 2: iniciar o cliente de robô​

Malha fechada

11.3 Terminal 2: iniciar o cliente de robô

Anexe um segundo terminal ao contêiner:

docker exec -it real-robot /bin/bash

Rode o script de avaliação. Atenção às chaves de câmera: na inferência os nomes de runtime são wrist e front — os mesmos que o arquivo de modalidade produziu no capítulo 10. As câmeras físicas não mudam: wrist é a câmera da garra e front a superior.

python Isaac-GR00T/gr00t/eval/real_robot/SO100/so101_eval.py \
--robot.type=so101_follower \
--robot.port=$ROBOT_PORT \
--robot.id=$ROBOT_ID \
--robot.cameras="{
wrist: {type: opencv, index_or_path: $CAMERA_GRIPPER, width: 640, height: 480, fps: 30},
front: {type: opencv, index_or_path: $CAMERA_EXTERNAL, width: 640, height: 480, fps: 30}
}" \
--policy_host=localhost \
--policy_port=5555 \
--lang_instruction="Put the three vials into the vial rack" \
--rerun True

Comportamento esperado:

  1. O seguidor se ergue lentamente até a postura inicial;
  2. Entra em modo de inferência e inicia a tarefa;
  3. Ctrl+C no Terminal 2 para e leva o braço de volta à base;
  4. O servidor do Terminal 1 continua vivo para rollouts repetidos.
Avalie vários checkpoints

Rode o cliente novamente com outros números de checkpoint (pare os dois terminais, troque --model-path, reinicie) e mantenha o de maior taxa de sucesso — não simplesmente o último.

11.4 Segurança​

Antes de apertar Enter

11.4 Segurança

A política pode se mover mais rápido do que uma pessoa espera:

  • Mantenha mãos, cabelo e mangas fora da área de frascos durante os rollouts;
  • Afaste cabos de câmera e alimentação da área de trabalho do seguidor;
  • Deixe o interruptor do seguidor ao alcance — cortar a energia dos motores é a parada de emergência;
  • Recoloque os frascos na área inicial entre rollouts e confira que o rack não se moveu.

11.5 Iterar sobre o que você vê​

Falha → correção

11.5 Iterar sobre o que você vê

O primeiro rollout real raramente acerta sempre. Observações típicas e suas correções:

ObservaçãoCausa provávelCorreção
Erra a pegada por alguns centímetrosEnquadramento diferente do treinoReveja as posições de câmera do capítulo 8
Pega e depois derruba o frascoLacuna de contato / atritoGrave mais episódios reais com pegadas bem-sucedidas
Vai na direção certa mas derivaCalibração desviadaRode lerobot-calibrate e o verificador de novo
Ignora a instrução de linguagemTexto da tarefa diferenteUse a frase exata da gravação em --lang_instruction
O servidor rejeita a observaçãoChaves de câmera erradasMantenha wrist e front no comando de avaliação
Empaca no meio da tarefaEpisódio terminou em esperaGrave demonstrações mais longas e completas

Itere nesta ordem: primeiro conserte estúdio e câmeras, depois adicione 5–10 episódios reais (capítulo 9), depois treine de novo (capítulo 10). Trocar o modelo antes de consertar os dados costuma esconder o problema real.

SintomaCausaCorreção
address already in use na porta 5555Servidor antigo rodandoPare o contêiner ou processo anterior
Servidor sobe mas o rollout não ageCaminho de checkpoint obsoletoConfirme que o mount e --model-path apontam ao mesmo checkpoint
Robô volta à base imediatamenteErro de política ou observaçãoLeia o log do servidor; confira streams e nomes de juntas
Cannot find calibration no contêinerCalibração não montadaMonte ~/.cache/huggingface/lerobot/calibration (já incluído no docker run)

Para o deploy na borda — rodar a política num Jetson em vez da GPU da estação — siga para o capítulo 14 — Preparar seu Jetson, ou amplie o dataset antes com os opcionais capítulo 12 e capítulo 13.

Voltar à visão geral: Curso Sim-to-Real VLA do SO-ARM101.

Loading Comments...