10. Treinar a política GR00T N1.7
Entenda o Isaac GR00T N1.7, prepare o dataset SO-101 para ele e faça o fine-tuning de um modelo VLA específico da tarefa com os dados do capítulo 9.
10.1 NVIDIA Isaac GR00T N1.7
10.1 NVIDIA Isaac GR00T N1.7
O NVIDIA Isaac GR00T N1.7 é um modelo Vision-Language-Action (VLA) aberto de habilidades robóticas generalizadas. Esse modelo multi-plataforma recebe entradas multimodais — linguagem e imagens — para executar tarefas de manipulação em ambientes diversos.
O modelo é treinado uma vez e adaptado a cada plataforma por configurações de modalidade: um arquivo pequeno que diz ao GR00T quais colunas do dataset são o braço, a garra, as câmeras e a instrução de linguagem. Este capítulo constrói exatamente essa configuração para o SO-ARM101.
Referências:
10.2 Preparar o ambiente Python
10.2 Preparar o ambiente Python
sudo apt install git-lfs && git lfs install
cd ~
git clone --recurse-submodules https://github.com/NVIDIA/Isaac-GR00T
cd Isaac-GR00T
sudo apt-get update && sudo apt-get install -y ffmpeg
uv sync --python 3.12
O fine-tuning do modelo de 3B exige uma GPU classe RTX 5090 / RTX 6000 (a linha de base do workshop da NVIDIA). Uma GPU de notebook de 8 GB não dá conta deste capítulo; a checagem ACT do final roda em GPUs pequenas.
10.3 Tratando o dataset
10.3 Tratando o dataset
O LeRobot grava dataset v3; o fine-tuning do GR00T N1.7 lê o layout v2 antigo. Converta o dataset do capítulo 9:
cd ~/Isaac-GR00T
uv run --project scripts/lerobot_conversion \
python scripts/lerobot_conversion/convert_v3_to_v2.py \
--repo-id so101_vials_real \
--root $HOME/rebot-arm-dli-isaacsim/datasets
O conversor move a cópia v3 para so101_vials_real_V30 e deixa o dataset
v2 no caminho original. Se for mesclar episódios simulados depois
(capítulo 13), faça a mescla antes de converter.
Em seguida adicione meta/modality.json dentro do dataset convertido:
{
"state": {
"single_arm": { "start": 0, "end": 5 },
"gripper": { "start": 5, "end": 6 }
},
"action": {
"single_arm": { "start": 0, "end": 5 },
"gripper": { "start": 5, "end": 6 }
},
"video": {
"wrist": { "original_key": "observation.images.front" },
"front": { "original_key": "observation.images.external" }
},
"annotation": {
"human.task_description": { "original_key": "task_index" }
}
}
Por que a divisão termina em 5:
| Dimensões | Significado |
|---|---|
| 0–4 | shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll |
| 5 | gripper |
O SO-ARM101 tem cinco juntas de braço mais a garra — seis valores no
total. O curso do reBot usa sete: não copie o end: 6 dele.
O mapeamento de câmeras também é proposital:
| Feature do dataset | Câmera física | Entrada GR00T |
|---|---|---|
observation.images.front | Câmera de punho / garra | wrist |
observation.images.external | Câmera superior | front |
10.4 Registrar a configuração de modalidade SO-101
10.4 Registrar a configuração de modalidade SO-101
cd ~/Isaac-GR00T
mkdir -p examples/so101
Crie examples/so101/so101_config.py:
# SPDX-License-Identifier: Apache-2.0
from gr00t.configs.data.embodiment_configs import register_modality_config
from gr00t.data.embodiment_tags import EmbodimentTag
from gr00t.data.types import (
ActionConfig,
ActionFormat,
ActionRepresentation,
ActionType,
ModalityConfig,
)
so101_config = {
# Quadro atual das duas câmeras; chaves iguais ao meta/modality.json
"video": ModalityConfig(
delta_indices=[0],
modality_keys=["wrist", "front"],
),
# Leitura articular atual
"state": ModalityConfig(
delta_indices=[0],
modality_keys=["single_arm", "gripper"],
),
# Prever 16 passos futuros
"action": ModalityConfig(
delta_indices=list(range(0, 16)),
modality_keys=["single_arm", "gripper"],
action_configs=[
# Braço: deltas relativos generalizam melhor entre poses
ActionConfig(
rep=ActionRepresentation.RELATIVE,
type=ActionType.NON_EEF,
format=ActionFormat.DEFAULT,
),
# Garra: alvo absoluto funciona melhor para abrir/fechar
ActionConfig(
rep=ActionRepresentation.ABSOLUTE,
type=ActionType.NON_EEF,
format=ActionFormat.DEFAULT,
),
],
),
"language": ModalityConfig(
delta_indices=[0],
modality_keys=["annotation.human.task_description"],
),
}
register_modality_config(so101_config, embodiment_tag=EmbodimentTag.NEW_EMBODIMENT)
10.5 Fine-tuning do GR00T N1.7
10.5 Fine-tuning do GR00T N1.7
Rota A — seu dataset real (o caminho padrão do curso):
cd ~/Isaac-GR00T
export SAVE_STEPS=5000
bash examples/finetune.sh \
--base-model-path nvidia/GR00T-1.7-3B \
--dataset-path $HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real \
--modality-config-path examples/so101/so101_config.py \
--embodiment-tag NEW_EMBODIMENT \
--output-dir $HOME/groot_so101_real
Rota B — co-treinamento com episódios simulados. Mescle os datasets
antes (capítulo 13) e aponte --dataset-path para o conjunto mesclado. A
receita do workshop da NVIDIA: poucos episódios reais mais 70–100
simulados.
Rota C — fine-tuning sequencial. Treine em simulação primeiro e continue desse checkpoint com os dados reais:
bash examples/finetune.sh \
--base-model-path $HOME/groot_so101_sim/checkpoint-5000 \
--dataset-path $HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real \
--modality-config-path examples/so101/so101_config.py \
--embodiment-tag NEW_EMBODIMENT \
--output-dir $HOME/groot_so101_sim_then_real
Variáveis úteis do examples/finetune.sh:
| Variável | Padrão | Efeito |
|---|---|---|
SAVE_STEPS | 1000 | Intervalo de checkpoints |
MAX_STEPS | 10000 | Total de passos de otimização |
GLOBAL_BATCH_SIZE | 32 | Reduza em GPUs menores |
EPISODE_SAMPLING_RATE | 0.1 | Fração de passos que amostram episódios |
DS_WEIGHTS_ALPHA | indefinida | Equilibra fontes mescladas por tamanho |
USE_WANDB | 1 | Ponha 0 para desativar o log de experimentos |
Antes de gastar horas de GPU, uma política ACT pequena treina em minutos no mesmo dataset e confirma que dataset, normalizadores e otimizador estão ligados corretamente:
cd ~/rebot_lerobot && source .venv/bin/activate
lerobot-train \
--policy.type=act --policy.push_to_hub=false \
--dataset.repo_id=so101_vials_real \
--dataset.root=$HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real \
--output_dir=/tmp/act_check --steps=60 --batch_size=4
10.6 Saídas do treinamento
10.6 Saídas do treinamento
$HOME/groot_so101_real/
├── checkpoint-1000/
├── checkpoint-2000/
├── checkpoint-5000/
└── ...
Cada checkpoint contém os pesos e a configuração de experimento que o servidor de inferência precisa. Mais passos nem sempre é melhor: avalie vários checkpoints no robô real (capítulo 11) e mantenha o que completar a tarefa com mais confiabilidade.
Próximo: Capítulo 11 — Avaliar no ambiente real.