18. Rodar inferência TensorRT do GR00T N1.7
Exporte a política ajustada para sete engines TensorRT específicas do alvo, valide offline e sirva a política ao seguidor SO-101 — tudo a partir do Jetson.
18.1 Pré-requisitos
18.1 Pré-requisitos
source "${HOME}/.config/gr00t-inference/paths.sh"
cd "${GR00T_REPO}"
git rev-parse HEAD
Revisão esperada do repositório:
dcf5f6b759fd17cab3644a97fc4429bca7451e38
Verifique as entradas do capítulo 17:
test -f "${GR00T_MODEL_PATH}/config.json"
test -f "${GR00T_MODEL_PATH}/processor_config.json"
test -f "${GR00T_MODEL_PATH}/statistics.json"
test -f "${GR00T_DATASET_PATH}/meta/info.json"
test -f "${GR00T_DATASET_PATH}/meta/modality.json"
test -f "${GR00T_BACKBONE_PATH}/config.json"
Os arquivos .engine do TensorRT dependem da arquitetura de GPU, versão
do TensorRT, checkpoint, formas do grafo, precisão e configuração do
builder. Cada alvo constrói as próprias engines.
18.2 Saída do pipeline TensorRT
18.2 Saída do pipeline TensorRT
O pipeline completo cria sete engines específicas do alvo:
1. vit.engine
2. llm_bf16.engine
3. vl_self_attention.engine
4. state_encoder.engine
5. action_encoder.engine
6. dit_bf16.engine
7. action_decoder.engine
18.3 Construir no Jetson AGX Orin
18.3 Construir no Jetson AGX Orin
export GR00T_TARGET=orin
source "${HOME}/.config/gr00t-inference/paths.sh"
cd "${GR00T_REPO}"
bash scripts/deployment/orin_jp72/run_full_trt.sh prepare
bash scripts/deployment/orin_jp72/run_full_trt.sh verify
bash scripts/deployment/orin_jp72/run_full_trt.sh status
O wrapper ativa o .venv-jp72, carrega os caminhos do runtime CUDA do
JetPack 7.2 e constrói o pacote de engines do Orin em
${GR00T_TRT_OUTPUT}.
18.4 Construir no Jetson AGX Thor
18.4 Construir no Jetson AGX Thor
export GR00T_TARGET=thor
source "${HOME}/.config/gr00t-inference/paths.sh"
cd "${GR00T_REPO}"
source .venv/bin/activate
source scripts/activate_thor.sh
python scripts/deployment/build_trt_pipeline.py \
--model-path "${GR00T_MODEL_PATH}" \
--dataset-path "${GR00T_DATASET_PATH}" \
--embodiment-tag NEW_EMBODIMENT \
--output-dir "${GR00T_TRT_OUTPUT}" \
--precision bf16 \
--batch-size 1 \
--steps export,build,verify,benchmark
Use a mesma etiqueta de plataforma (NEW_EMBODIMENT) e o horizonte de
ação de 16 passos com que o capítulo 10 treinou. Construa um diretório de
saída do Thor separado mesmo compartilhando checkpoint e dataset com o
Orin.
18.5 Rodar inferência offline
18.5 Rodar inferência offline
Valide as engines contra a trajetória gravada primeiro:
# Orin
bash scripts/deployment/orin_jp72/run_full_trt.sh evaluate
O comando avalia o pipeline TensorRT contra a trajetória local configurada
e grava o resultado em ${GR00T_RESULT_PATH}.
# Thor
source .venv/bin/activate
source scripts/activate_thor.sh
python scripts/deployment/standalone_inference_script.py \
--model-path "${GR00T_MODEL_PATH}" \
--dataset-path "${GR00T_DATASET_PATH}" \
--embodiment-tag NEW_EMBODIMENT \
--traj-ids 0 \
--inference-mode trt_full_pipeline \
--trt-engine-path "${GR00T_TRT_OUTPUT}/engines" \
--execution-horizon 16 \
--save-plot-path "${GR00T_RESULT_PATH}"
Use a mesma etiqueta de plataforma e o mesmo horizonte de ação usados ao exportar as engines.
18.6 Iniciar o servidor de políticas TensorRT
18.6 Iniciar o servidor de políticas TensorRT
bash scripts/deployment/orin_jp72/run_full_trt.sh serve
ss -ltn | grep ':5555'
O endpoint padrão é 127.0.0.1:5555. Para expor outro endereço:
export GR00T_SERVER_HOST=0.0.0.0
export GR00T_SERVER_PORT=5555
bash scripts/deployment/orin_jp72/run_full_trt.sh serve
Aponte o cliente de robô SO-101 ao Jetson. Do próprio Jetson — ou de qualquer máquina da rede com os scripts do workshop e o seguidor conectado — rode o cliente do capítulo 11 com o endereço do Jetson:
python Isaac-GR00T/gr00t/eval/real_robot/SO100/so101_eval.py \
--robot.type=so101_follower \
--robot.port=$ROBOT_PORT \
--robot.id=$ROBOT_ID \
--robot.cameras="{
wrist: {type: opencv, index_or_path: $CAMERA_GRIPPER, width: 640, height: 480, fps: 30},
front: {type: opencv, index_or_path: $CAMERA_EXTERNAL, width: 640, height: 480, fps: 30}
}" \
--policy_host=<JETSON_IP> \
--policy_port=5555 \
--lang_instruction="Put the three vials into the vial rack"
O seguidor SO-101 agora executa uma política que roda inteiramente no Jetson.
Valide o pacote de engines:
find "${GR00T_TRT_OUTPUT}/engines" -maxdepth 1 -name '*.engine' -printf '%f\n' | sort
Confirme que as sete engines existem e que a verificação terminou sem falha de forma ou de precisão numérica.
18.7 Solução de problemas
18.7 Solução de problemas
libcusparseLt.so.0 não encontrada no Orin
Use o wrapper em vez de chamar .venv-jp72/bin/python diretamente:
bash scripts/deployment/orin_jp72/run_full_trt.sh evaluate
Ambiente Python errado
which python
python -c "import sys; print(sys.executable)"
- Orin:
${GR00T_REPO}/.venv-jp72/bin/python - Thor:
${GR00T_REPO}/.venv/bin/python
Erro de forma ou desserialização de engine
Apague e reconstrua as engines do alvo após mudar checkpoint, backbone, versão do TensorRT, precisão, batch, horizonte de ação ou formas do grafo:
rm -rf "${GR00T_TRT_OUTPUT}/engines"
Depois rode novamente o comando de build de Orin ou Thor correspondente.
Build do TensorRT sem memória
free -h
df -h "${GR00T_WORKSPACE}"
sudo tegrastats
Feche outros aplicativos de GPU e confirme espaço livre suficiente no workspace antes de reconstruir.
18.8 Checklist de reprodução
18.8 Checklist de reprodução
- O repositório está no commit validado;
- Checkpoint, backbone, dataset e configuração de plataforma completos;
- Orin usa
.venv-jp72; Thor usa.venv; - As sete engines foram construídas no alvo onde rodarão;
- A inferência offline completa e salva um gráfico de resultado;
- O servidor de políticas só inicia depois de o pacote de engines passar na verificação;
- O seguidor SO-101 executa a tarefa dirigido pelo servidor do Jetson.
Voltar à visão geral: Curso Sim-to-Real VLA do SO-ARM101.