Coleta de Dados do SO-ARM101 com Isaac Sim 6.1

1. Requisitos
⚠️ Requisito de GPU. Use uma GPU NVIDIA RTX com pelo menos 12 GB de VRAM, como a RTX 3080 12 GB ou a RTX 4070 Ti SUPER 16 GB, e um driver recente. O robô, três visões de câmera e a simulação física são executados juntos. Com 8 GB de VRAM, o renderizador padrão pode sobrecarregar o compositor da área de trabalho em poucos minutos. A tela pode congelar e parar de responder ao mouse e ao teclado, exigindo uma reinicialização forçada. O próprio Isaac Sim pode ainda estar em execução e gravando logs. Durante o desenvolvimento, um laptop com 8 GB travou duas vezes mesmo com as mitigações integradas e
--single-viewportativado. Use uma GPU com pelo menos 12 GB de VRAM para operação confiável. Se sua GPU tiver 8 GB de VRAM, consulte a seção 10 para maneiras de reduzir a carga de renderização. O sistema ainda pode travar.
- Ubuntu 22.04. O Isaac Sim 6.1 também oferece suporte ao Ubuntu 24.04.
- GPU NVIDIA RTX com pelo menos 12 GB de VRAM.
- Um driver NVIDIA recente.
- O pacote standalone do Isaac Sim 6.1.
- Um braço líder SO-ARM101 conectado via USB para teleoperação física. Conecte também um braço seguidor SO-ARM101 para vincular um seguidor físico à simulação.
Use o seguinte layout de diretórios.
~
├── isaacsim/ # Isaac Sim 6.1 installation directory
└── rebot_lerobot/
└── .venv/bin/python # LeRobot virtual environment
2. Instalar o Isaac Sim 6.1
Baixe isaac-sim-standalone-6.1.0-linux-x86_64.zip (cerca de 12,4 GB) da NVIDIA. Extraia em ~/isaacsim e execute o script de pós-instalação.
unzip isaac-sim-standalone-6.1.0-linux-x86_64.zip -d ~/isaacsim
cd ~/isaacsim
./post_install.sh
Execute o verificador de compatibilidade para confirmar que seu sistema atende aos requisitos.
./isaac-sim.compatibility_check.sh # Expected output: System checking result: PASSED
- No primeiro lançamento com
./isaac-sim.sh, a compilação de shaders pode levar vários minutos. - Se você instalou o Isaac Sim em outro lugar, defina
ISAACSIM_ROOTpara o diretório de instalação antes de iniciar a simulação. Consulte a seção 6. - Avisos de IOMMU, DLSS-RR e largura de link PCIe no log de inicialização não impedem a execução do tutorial.
3. Obter o Código (Git LFS Necessário)
⚠️ O robô, o suporte da câmera, a bancada, os frascos e o rack de frascos usam assets USD armazenados no Git LFS. Instale
git-lfsantes de clonar para que o Isaac Sim possa carregar todos os assets.
sudo apt update
sudo apt install -y git-lfs
cd ~
git clone https://github.com/Seeed-Projects/rebot-arm-dli-isaacsim.git
cd rebot-arm-dli-isaacsim
git lfs install
git lfs pull
Verifique se os assets foram baixados corretamente.
du -sh assets/
# Expected size: about 157 MB
head -c 8 assets/so101/SO-ARM101-USD-NO-CAMERA.usd
# Expected output: PXR-USDC. If you see version, run git lfs pull again.
4. Configurar o Ambiente LeRobot
mkdir ~/rebot_lerobot
cd ~/rebot_lerobot
sudo apt update
sudo apt install -y ffmpeg
# Clone the repository
git clone https://github.com/Seeed-Projects/lerobot.git
# Create a virtual environment with Python 3.12
uv venv --python 3.12 .venv
source .venv/bin/activate
# Install LeRobot with the dataset and visualization extras
uv pip install -e "./lerobot[dataset,viz]"
# Install the SO-ARM101 servo dependency
uv pip install feetech-servo-sdk
Os extras
[dataset,viz]instalam dependências incluindodatasets,Pillow,avererun. Se essas dependências estiverem ausentes, a conversão de episódios falha e o terminal exibe[dataset-error].
5. Conectar e Calibrar o SO-ARM101
Conecte o braço líder físico à alimentação e conecte seu cabo de dados USB. Execute lerobot-find-port para identificar as portas do líder e do seguidor. Os exemplos usam /dev/ttyACM1 para o líder e /dev/ttyACM0 para o seguidor. Substitua pelos caminhos reais das suas portas. Salve a calibração como so101_leader e so101_follower para corresponder aos IDs de dispositivo padrão do projeto.
Calibrar o Braço Líder
source ~/rebot_lerobot/.venv/bin/activate
lerobot-calibrate \
--teleop.type=so101_leader \
--teleop.port=/dev/ttyACM1 \
--teleop.id=so101_leader
Quando solicitado, mova cada junta para o ponto médio de seu alcance e pressione Enter. Em seguida, mova cada junta por todo o seu alcance de movimento e pressione Enter novamente para salvar. Veja a demonstração de calibração do LeRobot SO-101.
Calibrar o Braço Seguidor
Calibre o seguidor antes de vinculá-lo à simulação. Use o mesmo procedimento de ponto médio e alcance completo e aguarde o comando para salvar a calibração e sair.
source ~/rebot_lerobot/.venv/bin/activate
lerobot-calibrate \
--robot.type=so101_follower \
--robot.port=/dev/ttyACM0 \
--robot.id=so101_follower
6. Iniciar Teleoperação e Coletar Dados
Abra o diretório do projeto. Se o Isaac Sim estiver instalado em outro lugar, execute export ISAACSIM_ROOT=/path/to/isaacsim no terminal atual.
cd ~/rebot-arm-dli-isaacsim
Escolher um Modo de Teleoperação
Use o líder físico para controlar o braço simulado. O status src=LEADER indica que a simulação está seguindo o líder.
./run_so101.sh --leader-port /dev/ttyACM1 --no-follower
Para vincular o seguidor físico, primeiro coloque ambos os braços físicos em poses semelhantes e, em seguida, execute o seguinte comando. O status src=FOLLOWER indica que a simulação está seguindo as posições articulares medidas do seguidor.
./run_so101.sh --leader-port /dev/ttyACM1 --follower-port /dev/ttyACM0
Para controlar o braço simulado sem um líder físico, inicie a simulação, clique na viewport 3D e pressione Y para entrar no modo de teclado.
./run_so101.sh --no-start-bridge
| Tecla | Ação no modo de teclado |
|---|---|
W / S / A / D | Move o efetuador final para frente, para trás, para a esquerda ou para a direita |
↑ / ↓ | Eleva ou abaixa o efetuador final |
Q / E | Gira o punho |
Z / C | Ajusta a inclinação do efetuador final |
G | Alterna o gripper |
B | Alterna entre passos de 5 mm e 15 mm |
Gravar a Tarefa de Triagem de Frascos
- Clique na viewport da simulação e pressione
Rpara redefinir os três frascos e randomizar a cena novamente. - Pressione
Sno modo líder ouTno modo de teclado para iniciar a gravação. - Coloque os três frascos na posição vertical no rack, um de cada vez. À medida que o gripper se aproxima de um frasco, a linha guia ajuda você a julgar a distância de preensão. O terminal relata
[GRASP]e[RELEASE]. - Pressione a tecla de gravação novamente para salvar o episódio. No modo líder, você também pode pressionar
Cpara descartá-lo.
O dataset é gravado em ~/rebot-arm-dli-isaacsim/datasets/so101_vials_front_side com o ID local/so101_vials_front_side e o texto de tarefa Put the three vials into the vial rack. Cada gravação contém dados das juntas e do gripper do SO-ARM101 juntamente com filmagens em 30 FPS das câmeras de punho e aérea.
Visões de Câmera
![]() | ![]() | ![]() |
|---|---|---|
Câmera de punho front (gravada) | Câmera lateral side (para visualização) | Câmera aérea external (gravada) |
7. Inspecionar, Visualizar e Reproduzir o Dataset
Verificar Sincronização de Vídeo e Ações
source ~/rebot_lerobot/.venv/bin/activate
lerobot-dataset-viz \
--repo-id local/so101_vials_front_side \
--root ~/rebot-arm-dli-isaacsim/datasets/so101_vials_front_side \
--mode local \
--episode-index 0
Verifique se ambos os vídeos permanecem sincronizados com as ações e estados. Procure por quadros pretos, quadros congelados e objetos que obstruam a visão.
Reproduzir Ações no Isaac Sim
No primeiro terminal, inicie o receptor da simulação.
cd ~/rebot-arm-dli-isaacsim
./run_so101.sh --no-start-bridge --no-recording --no-dr
Em um segundo terminal, reproduza o episódio 0. Adicione --loop para reprodução contínua.
source ~/rebot_lerobot/.venv/bin/activate
cd ~/rebot-arm-dli-isaacsim
PYTHONPATH=scripts python scripts/replay_episode_so101.py --episode 0
8. Validar Sem Hardware
Os comandos a seguir usam um líder simulado para verificar o rastreamento das juntas. O segundo comando também verifica ambas as câmeras, a codificação H.264 e a saída de dataset do LeRobot.
cd ~/rebot-arm-dli-isaacsim
./run_so101.sh --headless --test
./run_so101.sh --headless --test --test-recording
Para gerar duas gravações simuladas, execute o seguinte comando. O exemplo grava dados de validação em um diretório separado das suas gravações regulares.
./run_so101.sh --headless --auto-record 2 \
--dataset-root datasets/so101_vials_smoke_test \
--repo-id local/so101_vials_smoke_test
9. Treinar uma Política ACT
Execute 60 etapas de treinamento ACT em dados do diretório de gravação regular para verificar o fluxo de trabalho de treinamento. O modelo treinado e os arquivos relacionados são salvos em checkpoints/last/pretrained_model/ dentro do diretório de saída.
source ~/rebot_lerobot/.venv/bin/activate
lerobot-train \
--policy.type=act \
--policy.push_to_hub=false \
--dataset.repo_id=local/so101_vials_front_side \
--dataset.root=~/rebot-arm-dli-isaacsim/datasets/so101_vials_front_side \
--output_dir=~/rebot_lerobot/outputs/train/act_so101 \
--steps=60 --batch_size=4 --num_workers=2
10. Problemas Conhecidos
A cena do SO-ARM101 usa Path Tracing por padrão. Se a carga de renderização estiver muito alta, use --single-viewport para mostrar apenas a viewport principal enquanto ainda grava ambas as câmeras. Use --realtime-renderer para alternar para renderização em tempo real. As filmagens em tempo real podem ser mais ruidosas.
cd ~/rebot-arm-dli-isaacsim
./run_so101.sh --no-start-bridge --no-recording --single-viewport --realtime-renderer
11. Solução de problemas
- Não é possível acessar a porta serial. Verifique a porta do dispositivo e o cabo de dados. Se sua conta não tiver permissões de porta serial, execute
sudo usermod -aG dialout "$USER", saia e entre novamente e tente outra vez. - Os braços simulado e físico apresentam poses diferentes. Verifique as portas seriais e os IDs de calibração de ambos os braços. Confira novamente o ponto médio de calibração e a amplitude de movimento de cada junta.
- Isaac Sim Python não pode ser encontrado. Verifique se o diretório de instalação contém
python.she definaISAACSIM_ROOTpara esse diretório. - Recursos de cena estão ausentes. Execute
git lfs pulla partir do diretório do projeto e verifique os recursos conforme descrito na seção 3. - A gravação informa
[dataset-error]. Verifique o ambiente virtual do LeRobot e os extras[dataset,viz]da seção 4. - O terminal informa
[watchdog] Leader data timed out. Verifique a conexão USB do líder e o processo de ponte serial. A simulação mantém seu último alvo enquanto a comunicação estiver interrompida.
Licença MIT upstream
Licença MIT
Copyright (c) 2026 reBot Arm DLI Isaac Sim contributors
É concedida permissão, gratuitamente, a qualquer pessoa que obtenha uma cópia deste software e dos arquivos de documentação associados (o "Software"), para lidar com o Software sem restrições, incluindo, sem limitação, os direitos de usar, copiar, modificar, mesclar, publicar, distribuir, sublicenciar e/ou vender cópias do Software, e de permitir que pessoas a quem o Software é fornecido o façam, sujeitas às seguintes condições:
O aviso de copyright acima e este aviso de permissão devem ser incluídos em todas as cópias ou partes substanciais do Software.
O SOFTWARE É FORNECIDO "NO ESTADO EM QUE SE ENCONTRA", SEM GARANTIA DE QUALQUER TIPO, EXPRESSA OU IMPLÍCITA, INCLUINDO, MAS NÃO SE LIMITANDO ÀS GARANTIAS DE COMERCIABILIDADE, ADEQUAÇÃO A UM DETERMINADO FIM E NÃO VIOLAÇÃO. EM NENHUMA HIPÓTESE OS AUTORES OU DETENTORES DOS DIREITOS AUTORAIS SERÃO RESPONSÁVEIS POR QUALQUER REIVINDICAÇÃO, DANOS OU OUTRAS RESPONSABILIDADES, SEJA EM AÇÃO CONTRATUAL, DELITO OU DE OUTRA FORMA, DECORRENTES DE, OU EM CONEXÃO COM, O SOFTWARE OU O USO OU OUTRAS NEGOCIAÇÕES NO SOFTWARE.


