Simulando o reBotArm com o Isaacsim
Introdução
reBot-Isaacsim é um projeto de simulação NVIDIA Isaac Sim projetado especificamente para o reBotArm. Ele aproveita o mecanismo de física de alta fidelidade do Isaac Sim para replicar com precisão as características cinemáticas e a lógica de coordenação da garra do braço robótico em um ambiente virtual, fornecendo um ambiente independente apenas de simulação para desenvolvimento de algoritmos de controle, verificação de planejamento de trajetória e teste de protocolos de comunicação.
Requisitos de ambiente
- Sistema operacional: Ubuntu 22.04 LTS / 24.04 LTS (recomendado) ou Windows 11 (requer WSL2)
- GPU: placa de vídeo NVIDIA série RTX (recomendado RTX 3070 ou superior), VRAM ≥ 8GB
- Driver: driver oficial NVIDIA ≥ 535.x, com suporte a CUDA 12.x
- Memória: ≥ 32GB de RAM (cenas do Isaac Sim e simulações físicas usam muita memória)
- Armazenamento: ≥ 100GB de espaço disponível em SSD (para instalação do Isaac Sim, cache e assets USD)
Os computadores usados neste wiki estão equipados com GPUs NVIDIA RTX 4080 e executam o sistema operacional Ubuntu 22.04 LTS.
Instalar o Isaacsim
Links e recursos oficiais:
https://docs.isaacsim.omniverse.nvidia.com/6.0.0/installation/quick-install.html
https://docs.isaacsim.omniverse.nvidia.com/6.0.0/installation/download.html#isaac-sim-latest-release
🔧 Método 1: Instalação de binário pré-compilado
💡 Adequado para a maioria dos usuários, não é necessário compilar, pronto para uso imediato.
Download e descompactação
Baixe isaac-sim-standalone-6.0.0-linux-x86_64.zip do site oficial da NVIDIA.
mkdir -p ~/isaacsim
cd ~/Downloads
unzip isaac-sim-standalone-6.0.0-linux-x86_64.zip -d ~/isaacsim
cd ~/isaacsim
./post_install.sh
Configurar variáveis de ambiente
Adicione o seguinte a ~/.bashrc ou ~/.zshrc:
export ISAACSIM_PATH="${HOME}/isaacsim"
export ISAACSIM_PYTHON_EXE="${ISAACSIM_PATH}/python.sh"
Em seguida, execute source ~/.bashrc para que tenha efeito.
Verificação de inicialização
${ISAACSIM_PATH}/isaac-sim.sh
Na primeira inicialização, os shaders serão armazenados em cache, o que pode levar de 5 a 10 minutos, portanto, aguarde pacientemente enquanto a interface gráfica é exibida.
⚙️ Método 2: Compilar a partir do código-fonte (recomendado)
💡 Bom para desenvolvedores que precisam ajustar o código subjacente ou depurar recursos centrais.
Instalar dependências
sudo apt update
sudo apt install cmake build-essential git python3-pip
Certifique-se de que CUDA e cuDNN estejam instalados corretamente e correspondam ao driver da sua GPU.
Clonagem e compilação
git clone https://github.com/NVIDIA-Omniverse/IsaacSim.git
cd IsaacSim
./build.sh release
O processo de compilação pode levar de 30 a 60 minutos, dependendo do seu hardware.
Executar teste
_build/linux-x86_64/release/isaac-sim.sh
Baixar o projeto
git clone https://github.com/Seeed-Projects/reBot-Isaacsim.git
Configurar o ambiente uv do reBotArm_control_py
cd third_party/reBotArm_control_py
uv sync
Visão geral dos componentes funcionais
Este projeto fornece vários senders para atender a diferentes cenários de uso:
| Componente | Descrição |
|---|---|
gravity_joint_sender | Modo de manuseio com compensação de gravidade: braço robótico modificado (garra removida, alça adicionada) permite movimento manual em modo de compensação de gravidade e sincroniza os ângulos das juntas com o Isaac Sim em tempo real |
isaacsim_ik_sender | Modo de cinemática inversa (IK): insira a pose do efetuador final, use o solucionador de IK para obter os ângulos das juntas e envie-os para o Isaac Sim |
isaacsim_traj_sender | Modo de planejamento de trajetória (Traj): adiciona planejamento de trajetória no espaço de juntas (perfil de tempo MIN_JERK) sobre o IK para obter controle de movimento suave |
isaacsim_joint_test_sender | Modo de teste de juntas: envia trajetórias de ângulos de juntas predefinidas sem um robô real para verificar se o receptor do Isaac Sim e a comunicação estão funcionando corretamente |
joint_reader_sender | Modo de mapeamento Real-para-Sim: leitura apenas dos ângulos das juntas e mapeamento para o Isaac Sim, ideal para uso com outros projetos de controle (por exemplo, sincronizar no Isaac Sim o robô real executando outras tarefas para visualização) |
Estrutura de diretórios
reBot-Isaacsim/
├── pyproject.toml # uv workspace configuration
├── README.md
├── README_EN.md
├── reBotArm_Isaacsim/ # Main example directory
│ ├── gravity_joint_sender.py # Gravity compensation handle mode (modified robotic arm, manual manipulation)
│ ├── isaacsim_ik_sender.py # Inverse kinematics mode (IK control)
│ ├── isaacsim_traj_sender.py # Trajectory planning mode (IK joint space trajectory)
│ ├── isaacsim_joint_test_sender.py # Joint test mode (preset trajectory, no hardware needed)
│ ├── joint_reader_sender.py # Real-to-Sim mapping mode (read-only joints, sync visualization)
│ ├── isaacsim_joint_receiver.py # Isaac Sim receiver (joint angle synchronization)
│ ├── live_sync.py # Startup instruction script
│ ├── run_sender.sh # Start sender
│ └── run_isaacsim_receiver.sh # Start Isaac Sim receiver
├── third_party/
│ └── reBotArm_control_py/ # Core control library (separate uv environment)
│ ├── pyproject.toml
│ └── ...
└── usd/
└── RS-rebot-dev-arm/
└── 00-arm-rs_asm-v3.usda # Isaac Sim robotic arm asset
Inicialização (modo de dois terminais)
São necessários dois terminais separados. O Terminal 1 executa o receptor do Isaac Sim, enquanto o Terminal 2 executa o sender apropriado, dependendo da funcionalidade desejada.
Terminal 1 — Iniciar o receptor do Isaac Sim (compartilhado por todos os modos)
cd reBotArm_Isaacsim
./run_isaacsim_receiver.sh
Comportamento esperado:
- Iniciar a interface gráfica do Isaac Sim
- Carregar o plano de chão e os assets USD do braço robótico
- Escutar pacotes UDP em
127.0.0.1:5005 - Aguardar a conexão de um sender
Terminal 2 — Iniciar o sender apropriado
Sempre inicie primeiro o receptor e depois o sender.
Alguns modos exigem um braço robótico físico. Configure o adaptador USB-para-CAN conforme mostrado abaixo.
# Check the CAN interface status
ip link show can0
# Bring up the CAN interface with a bitrate of 1000000
sudo ip link set can0 up type can bitrate 1000000 restart-ms 100
① Modo de teste de juntas (isaacsim_joint_test_sender)
Nenhum hardware físico é necessário. Uma trajetória de juntas predefinida é enviada continuamente para verificar a comunicação com o receptor do Isaac Sim.
cd reBotArm_Isaacsim
uv run python isaacsim_joint_test_sender.py
O sender interpola continuamente entre várias configurações de juntas predefinidas e as transmite para o Isaac Sim. Nenhuma conexão CAN é necessária.
② Modo de cinemática inversa (isaacsim_ik_sender)
Insira uma pose do efetuador final (posição/orientação). O solucionador de IK calcula a configuração das juntas e move o braço robótico no Isaac Sim.
Execute o seguinte a partir do diretório reBotArm_Isaacsim/:
cd reBotArm_Isaacsim
uv run python isaacsim_ik_sender.py
Formato de entrada (um comando por linha):
x y z # Position (meters), keep current orientation
x y z r p y # Position + orientation (meters/degrees)
q j1 j2 j3 j4 j5 j6 # Send joint angles directly (degrees)
gripper <0~1> # Update gripper only
③ Modo de planejamento de trajetória (isaacsim_traj_sender)
Adiciona planejamento de trajetória no espaço de juntas (MIN_JERK) sobre o IK para um movimento suave do robô.
Execute o seguinte a partir do diretório reBotArm_Isaacsim/:
cd reBotArm_Isaacsim
uv run python isaacsim_traj_sender.py
Formato de entrada (um comando por linha):
x y z # Position (meters)
x y z r p y # Position + orientation (meters/degrees)
q j1 j2 j3 j4 j5 j6 # Send joint angles directly (degrees)
gripper <0~1> # Update gripper only
speed <scale> # Adjust trajectory duration scaling
resync # Re-read the current joint state from Isaac Sim
④ Modo de manuseio com compensação de gravidade (gravity_joint_sender)
Projetado para braços robóticos modificados (garra removida e alça instalada). O robô pode ser guiado manualmente enquanto o Isaac Sim segue o movimento.
cd reBotArm_Isaacsim
./run_sender.sh
Comportamento esperado:
- Conectar ao braço robótico físico e habilitar o controle MIT com compensação de gravidade feedforward
- O braço robótico pode ser movido livremente à mão
- Os ângulos das juntas são continuamente transmitidos via UDP a 60 Hz
⑤ Modo de mapeamento Real-para-Sim (joint_reader_sender)
Lê apenas os ângulos das juntas e espelha o estado do robô físico no Isaac Sim. Este modo é destinado à visualização enquanto o robô real é controlado por outra aplicação.
Execute o seguinte a partir do diretório reBotArm_Isaacsim/:
cd reBotArm_Isaacsim
uv run python joint_reader_sender.py
Comportamento esperado:
- Ler apenas os ângulos das juntas (modo de feedback passivo), sem enviar nenhum comando de controle
- Transmitir continuamente os ângulos das juntas via UDP a 60 Hz
- Visualizar o robô físico no Isaac Sim enquanto ele é controlado por outro projeto
Protocolo de comunicação
UDP JSON na porta 127.0.0.1:5005.
Payload do sender (por frame):
{
"sequence": 123,
"timestamp": 1718000000.123,
"joint_positions": [0.0, 0.1, 0.2, -0.1, 0.0, -0.02],
"gripper_position": 0.05
}
| Campo | Tipo | Descrição |
|---|---|---|
sequence | int | Número de sequência de frame incremental |
timestamp | float | Timestamp Unix (segundos) |
joint_positions | float[6] | Primeiras seis posições de juntas (rad) |
gripper_position | float | Posição da garra (m), convertida pelo sender usando GRIPPER_POSITION_SCALE=0.03 |
Pipeline de controle do gripper:
Remetente gripper_q → gripper_position = -gripper_q × 0.03 → Receptor × 0.01 → Alvo de posição de junta dupla
Parâmetros de Configuração
Remetente (gravity_joint_sender.py)
| Parâmetro | Padrão | Descrição |
|---|---|---|
ARM_JOINT_COUNT | 6 | Número de juntas do braço |
DEFAULT_PORT | 5005 | Porta UDP |
DEFAULT_SEND_HZ | 60.0 | Frequência de transmissão (Hz) |
GRIPPER_POSITION_SCALE | 0.03 | Fator de conversão de ângulo do gripper para posição |
position_alpha | 0.2 | Coeficiente do filtro passa-baixa |
Receptor (isaacsim_joint_receiver.py)
| Parâmetro | Padrão | Descrição |
|---|---|---|
ARM_JOINT_COUNT | 6 | Número de juntas do braço |
DEFAULT_PORT | 5005 | Porta UDP |
DEFAULT_RENDER_HZ | 120.0 | Frequência de renderização da simulação (Hz) |
GRIPPER_POSITION_SCALE | 0.01 | Fator adicional de escala de posição do gripper |
ROBOT_PRIM_PATH | /World/reBotArm | Caminho do Prim do robô no Isaac Sim |
ASSET_RELATIVE_PATH | usd/RS-rebot-dev-arm/00-arm-rs_asm-v3.usda | Caminho relativo para o asset USD |
Solução de Problemas
OSError: [Errno 98] Address already in use
A porta 5005 já está ocupada. Encontre e finalize o processo que está usando a porta:
# Find the process using port 5005
sudo lsof -i :5005
# Terminate the process (replace PID with the actual process ID)
kill <PID>
Asset do Isaac Sim Não Encontrado
Verifique se o asset USD existe e se REPO_ROOT está configurado corretamente:
ls usd/RS-rebot-dev-arm/00-arm-rs_asm-v3.usda
Barramento CAN Não Pronto
Certifique-se de que a interface CAN está ativa e configurada com o bitrate correto:
can_restart can0
# Verify the bitrate
ip -details link show can0 | grep bitrate
Ângulos das Juntas Não Estão Sincronizando
- Verifique se tanto o remetente quanto o receptor estão usando a porta
5005. - Verifique se o log do remetente exibe continuamente
[send]. - Verifique se o log do receptor exibe continuamente
[recv]. - Tente
isaacsim_joint_test_sender.pypara descartar problemas relacionados ao hardware.
Componentes e Ambientes Python
| Componente | Ambiente Python | Script de Inicialização |
|---|---|---|
| Remetente (Robô Físico) | Ambiente uv reBotArm_control_py | run_sender.sh |
| Remetente (Modo de Teste) | Ambiente uv reBotArm_control_py | isaacsim_joint_test_sender.py |
| Receptor | Python oficial do Isaac Sim (python.sh) | run_isaacsim_receiver.sh |
Suporte Técnico & Discussão de Produto
Obrigado por escolher nossos produtos! Estamos aqui para oferecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.