Pular para o conteúdo principal
Módulo 4 · Capítulo 17 · Deploy on Jetson

17. Preparar o dataset e os ativos do modelo

Copie para o Jetson o dataset convertido, o checkpoint ajustado e o backbone VLM, e valide que tudo que o exportador TensorRT precisa está presente.

17.1 Compatibilidade do dataset​

Coincidir exatamente com o treino

17.1 Compatibilidade do dataset

O dataset convertido deve preservar as chaves de câmera, as dimensões de estado/ação, os rótulos de tarefa e os limites de episódio usados no fine-tuning.

Para o SO-ARM101 isso significa:

  • chaves de câmera wrist e front mapeadas no meta/modality.json, exatamente como criadas no capítulo 10;
  • seis dimensões de estado/ação: single_arm 0–5, gripper 5–6;
  • a etiqueta de plataforma NEW_EMBODIMENT registrada por so101_config.py.

Não renomeie modalidades de câmera depois do treino.

17.2 Converter e copiar o dataset​

Layout v2.1

17.2 Converter e copiar o dataset

Se ainda não converteu, rode o conversor na estação (o mesmo comando do capítulo 10):

cd ~/Isaac-GR00T
uv run --project scripts/lerobot_conversion \
python scripts/lerobot_conversion/convert_v3_to_v2.py \
--repo-id so101_vials_real \
--root $HOME/rebot-arm-dli-isaacsim/datasets

Copie o dataset convertido (com o meta/modality.json) para o caminho do workspace no Jetson:

rsync -av \
~/rebot-arm-dli-isaacsim/datasets/so101_vials_real/ \
jetson:"${GR00T_DATASET_PATH}/"

Valide o layout que o GR00T espera:

${GR00T_DATASET_PATH}/
├── data/chunk-000/episode_000000.parquet
├── videos/chunk-000/observation.images.front/episode_000000.mp4
└── meta/
├── episodes.jsonl
├── info.json
├── modality.json
├── stats.json
└── tasks.jsonl
source "${HOME}/.config/gr00t-inference/paths.sh"
test -f "${GR00T_DATASET_PATH}/meta/info.json"
test -f "${GR00T_DATASET_PATH}/meta/modality.json"
test -f "${GR00T_DATASET_PATH}/meta/stats.json"
test -f "${GR00T_DATASET_PATH}/meta/tasks.jsonl"
find "${GR00T_DATASET_PATH}/data" -name 'episode_*.parquet' | head

17.3 Preparar o checkpoint ajustado​

Só os pesos

17.3 Preparar o checkpoint ajustado

Copie o diretório do checkpoint do capítulo 10 para ${GR00T_MODEL_PATH} e verifique:

test -f "${GR00T_MODEL_PATH}/config.json"
test -f "${GR00T_MODEL_PATH}/processor_config.json"
test -f "${GR00T_MODEL_PATH}/statistics.json"
test -f "${GR00T_MODEL_PATH}/model.safetensors.index.json"
ls "${GR00T_MODEL_PATH}"/model-*-of-*.safetensors

Arquivos de estado de treino como optimizer.pt, scheduler.pt e trainer_state.json não são necessários para inferência nem para o export TensorRT.

17.4 Preparar o backbone VLM​

Cosmos-Reason2-2B

17.4 Preparar o backbone VLM

O GR00T 1.7 usa por padrão o nvidia/Cosmos-Reason2-2B:

hf download nvidia/Cosmos-Reason2-2B \
--local-dir "${GR00T_BACKBONE_PATH}"

test -f "${GR00T_BACKBONE_PATH}/config.json"
test -f "${GR00T_BACKBONE_PATH}/model.safetensors" || \
test -f "${GR00T_BACKBONE_PATH}/model.safetensors.index.json"

O repositório validado também pode usar Qwen/Qwen3-VL-2B-Instruct via GR00T_BACKBONE_PATH. O Qwen3-VL é uma alternativa validada para este checkpoint e revisão do repositório, não o padrão oficial do GR00T 1.7.

17.5 Checklist de ativos​

Antes do capítulo 18

17.5 Checklist de ativos

  • Episódios e vídeos no layout por episódio esperado;
  • Chaves de câmera, etiqueta de plataforma e dimensões idênticas ao treino;
  • Checkpoint com todos os shards e metadados do GR00T;
  • Backbone VLM escolhido fixado e disponível localmente.

Próximo: Capítulo 18 — Rodar inferência TensorRT do GR00T N1.7.

Loading Comments...