Pular para o conteúdo principal
SO-ARM × LeRobot × GR00T × Jetson · Curso avançado

SO-ARM101 Sim-to-Real VLA

O currículo completo de Sim-to-Real da Seeed × NVIDIA, migrado para o SO-ARM101: monte o laboratório real, colete seus próp dados por teleoperação, faça fine-tuning de uma política VLA Isaac GR00T N1.7 e implante no braço físico e no Jetson — com episódios de Isaac Sim e aumento de dados como opções.

Visão geral do curso​

Overview

De uma mesa vazia a uma política no Jetson

Este curso espelha artigo por artigo o currículo DLI do reBot e o adapta para o SO-ARM101 branco — a mesma plataforma visada pelo SO-101 Workshop da NVIDIA:

  1. Overview e ambiente — por que Sim-to-Real, o que LeRobot e GR00T oferecem, e instalação e verificação da pilha de software;
  2. Build Your Robot Lab — monte o par SO-101 (braços pré-montados pulam a gravação de IDs), calibre os dois braços e monte o estúdio: lightbox, suportes, posição do rack e objetos;
  3. Get Your Own VLA Model — teleopere o par real, grave episódios LeRobot v3 com duas câmeras, faça fine-tuning do Isaac GR00T N1.7 e execute no seguidor físico;
  4. Escalar (opcional) — colete episódios extras do gêmeo digital do SO-ARM101 branco no Isaac Sim, randomize a cena e misture com os dados reais para co-treinamento;
  5. Implantar no Jetson — exporte engines TensorRT específicas do alvo em um Jetson AGX Orin ou Thor e sirva a política na borda.
Kit SO-ARM101

Estrutura do curso​

Módulos DLI

Overview → Build Your Robot Lab → Get Your Own VLA Model → Jetson

MóduloCapítulosFoco
1 · Overview1–5Visão geral, LeRobot, Sim-to-Real, SO-ARM101, resumo
2 · Build Your Robot Lab6–8Introdução, preparação dos braços (IDs + calibração), ambiente
3 · Get Your Own VLA Model9–11Coleta de dados reais, treino GR00T N1.7, avaliação real
3+ · Opcional12–13Dados do Isaac Sim, aumento de dados com Cosmos
4 · Deploy on Jetson14–18Setup do Jetson, hardware, ambiente GR00T, ativos, TensorRT
5 · Reference19Repositórios, produtos e documentação

A rota do robô real é a linha principal do curso. Isaac Sim aparece só como acelerador opcional, exatamente como no artigo Sim-to-Real da Seeed × NVIDIA.

Pré-requisitos​

Antes de começar

O que você precisa

RequisitoDetalhe
GPU de estaçãoRTX com ≥ 8 GB para os capítulos 9–12; 24 GB+ (classe RTX 5090 / RTX 6000) para o fine-tuning do GR00T
SOUbuntu 22.04 ou superior
SoftwareIsaac Sim 6.1 (só capítulo 12), ambiente LeRobot (capítulo 7)
RobôLíder e seguidor SO-ARM101 — kit ou pré-montado; estritamente, só o seguidor é obrigatório
CâmerasDuas câmeras USB (punho + externa)
Dispositivo de borda (módulo 4)Jetson AGX Orin ou AGX Thor com JetPack 7.2
Disco~100 GB livres no total

Se planeja deixar um assistente de IA instalar o ambiente, copie o arquivo de skill de instalação do repositório do projeto — o capítulo 6 aponta para ele.

O que você construirá​

Resultado

Entregáveis após os dezenove capítulos

  • Um par líder/seguidor SO-ARM101 calibrado — montado ou de fábrica, com IDs de servos gravados quando necessário;
  • Um estúdio de gravação: lightbox, suportes rígidos e um rack fixado com fita com as posições dos objetos marcadas;
  • Um dataset LeRobot v3 do mundo real com streams de vídeo de duas câmeras;
  • Uma política Isaac GR00T N1.7 ajustada com seus dados, com conjuntos opcionais de co-treinamento ampliados com simulação e Cosmos;
  • Uma política rodando em malha fechada no seguidor físico com a pilha de avaliação de robôs reais da NVIDIA;
  • Um pacote de engines TensorRT específico do alvo e um servidor de políticas no Jetson AGX Orin ou Thor.

Capítulos do curso​

Índice

Dezenove capítulos em cinco módulos

#CapítuloMódulo
1Visão geral do curso1 · Overview
2LeRobot: contexto e comunidade1 · Overview
3O que é Sim-to-Real?1 · Overview
4Introdução do SO-ARM1011 · Overview
5Resumo1 · Overview
6Build Your Robot Lab (intro)2 · Build Your Robot Lab
7Preparar o braço robótico2 · Build Your Robot Lab
8Montando o ambiente de trabalho2 · Build Your Robot Lab
9Coletar dados do ambiente real3 · Get Your Own VLA Model
10Treinar a política GR00T N1.73 · Get Your Own VLA Model
11Avaliar no ambiente real3 · Get Your Own VLA Model
12Coletar dados do Isaac Sim (opcional)3 · Opcional
13Aumento de datasets (opcional)3 · Opcional
14Preparar seu Jetson4 · Deploy on Jetson
15Conectar o hardware do robô4 · Deploy on Jetson
16Configurar o ambiente GR00T4 · Deploy on Jetson
17Preparar dataset e ativos do modelo4 · Deploy on Jetson
18Rodar inferência TensorRT do GR00T N1.74 · Deploy on Jetson
19Referências5 · Reference

Comece pelo capítulo 1, ou pule direto para o 7 se o software já estiver instalado. Se você só precisa da parte opcional de simulação, vá direto ao capítulo 12.

Loading Comments...