22. VLA sem código com SenseCraft Robotics
Capítulo 22 do curso para iniciantes em SO-ARM Physical AI — a rota VLA sem código: conecte e calibre os braços no SenseCraft Robotics, verifique a teleoperação, vincule câmeras, colete e limpe datasets, treine na nuvem ou local e rode a inferência — sem terminal e sem GPU de treinamento.
O SenseCraft Robotics é a plataforma sem código da Seeed para o SO-ARM101 (e os braços reBot). Conecte os braços, calibre, colete demonstrações, treine e rode a inferência numa interface guiada — sem ambiente Python e sem terminal. Este capítulo é a contraparte gráfica de tudo o que você fez nas Fases 3-4.
22.1 Preparação
22.1 Preparação
Hardware
| Item | Líder | Seguidor |
|---|---|---|
| Braço | Líder preto montado ×1 | Seguidor branco montado ×1 |
| Placa de servos LeRobot | ×1 | ×1 |
| Cabo de alimentação | 5V ×1 | Pro: 12V ×1; Standard: 5V |
| Cabo de dados | USB-C ×1 | USB-C ×1 |
| Braçadeira de fixação | ×2 | ×2 |
Compartilhado: peças da garras flexível, duas câmeras USB de 32 × 32 mm (o kit traz uma; prepare a segunda à parte — os dados de treino precisam de duas vistas), chave de fenda, tapete.
Os braços precisam estar montados, fixados, alimentados e conectados por USB. Se a montagem não está completa, volte ao Capítulo 6.
Computador e software
- Windows ou macOS; o treinamento local exige GPU compatível;
- Rede estável para downloads, login, treino em nuvem e inferência;
- SenseCraft Robotics instalado e logado com uma conta SenseCraft registrada.
Cena e segurança
- Marque duas posições fixas na mesa: A para o início do objeto, B para o destino;
- Prepare um objeto de tamanho adequado e fácil de agarrar (bloco vermelho ou algo macio);
- Garanta que A, B, os dois braços e o objeto apareçam nas câmeras sem obstrução;
- Limpe o espaço de pessoas, bagunça, cabos e itens frágeis. Deixe o líder longe do seguidor e fora da vista da câmera dele.
Nomes de interface, posições de botões e backends de treino podem mudar com as versões do SenseCraft Robotics. Portas seriais e nomes de dataset aqui são exemplos — use sempre os dispositivos que o seu computador detectar.
22.2 Conectar os braços
22.2 Conectar os braços
Aviso de segurança: desconecte a alimentação antes de instalar, conectar ou remover os braços. Confirme que estão fixos, cabos corretos e área limpa antes de religar. Nunca conecte ou desconecte a alimentação com o sistema ligado.
Instale os corpos dos braços. Coloque líder e seguidor numa mesa estável; fixe cada um com duas braçadeiras; deixe distância segura entre os braços; desligado, mova cada junta à mão devagar para confirmar movimento suave sem colisões.
Instale as placas de controle. Uma placa LeRobot por braço: alinhe com o encaixe da base, confira a orientação do conector e assente firme; verifique cada cabo de servo no fundo, sem dobras ou pinçamentos.
Conecte os cabos de dados. Líder → USB-C → computador; seguidor → USB-C → computador. Para facilitar a identificação de portas, conecte primeiro o lado dos braços e plugue no computador um por um durante a vinculação de portas (22.3).
Instale as alimentações e ligue. Adaptadores fora da tomada: insira cada cabo DC e aperte o anel de travamento em sentido horário; Pro = líder 5V / seguidor 12V, Standard = ambos 5V — não misture; afaste os cabos do alcance das juntas. Depois ligue, observe os indicadores e confirme que USB-C (dados) e DC (energia) estão ambos conectados.
22.3 Configuração de dispositivos no app
22.3 Configuração de dispositivos no app
Logado, abra Projetos → Novo projeto, preencha nome e descrição e crie. O resumo do projeto dá acesso à configuração de dispositivos, repetição de ações, datasets, treinamento, modelos e operação; se mostrar "A configurar" ou "Não conectado", clique em Ir para configuração de dispositivos.
Selecionar o modelo de dispositivo
No Emparelhamento de dispositivos escolha SO-ARM101 + SO-ARM101 e clique em Próximo para vincular as portas.
Vincular as portas USB
- Varredura inicial: desconecte os dois USB, clique em Reescanear e anote as portas mostradas;
- Vincule o líder: conecte o líder, Reescanear, vincule a porta recém-aparecida ao líder;
- Vincule o seguidor: conecte o seguidor, Reescanear, vincule a porta nova ao seguidor;
- Ambos mostram Conectado → Próximo.
Solução de portas: a cada varredura vincule só a porta nova — nunca identifique dispositivos só pelo número da COM. Se uma porta não aparece, reconecte o USB e escaneie de novo; se só uma aparece, confira o outro cabo e a alimentação do braço.
Verificação da calibração
Leve líder e seguidor à postura média do exemplo na tela e limpe a área. Dois modos:
- Calibração automática — o sistema identifica o curso de cada junta dirigindo o braço. Exige batentes físicos confiáveis em todas. Retire cargas, alinhe os dois braços quase na vertical, marque a caixa de confirmação, clique em Iniciar calibração e aguarde.
- Calibração manual — para juntas sem batente confiável ou para conferir passo a passo: líder ligado, leve as juntas ao meio do curso, clique em Iniciar calibração e siga as orientações na tela para cada junta dos dois braços.
Não teleopere nem colete dados durante a calibração. Se a postura estiver anormal, uma junta travada ou a calibração falhar — pare, confira o braço e a área, e tente de novo.
Verificação da teleoperação
- Clique em Iniciar teleoperação;
- Mova um pouco o líder — o seguidor deve seguir de forma síncrona, na mesma direção e suave;
- Clique em Encerrar teleoperação e escolha Confirmar teleoperação normal (ou Anormal, voltar a calibrar).
Compensação de gravidade (opcional): os braços têm peso, e ajustar o seguidor à mão exige esforço. A compensação neutraliza parte do peso e facilita o ajuste — desligue-a após ajustar e antes de verificar a teleoperação. Ela auxilia o movimento manual; não faz o seguidor seguir o líder.
Vincular as câmeras
São necessárias duas câmeras e duas vistas. Layouts comuns (o Capítulo 12 discutiu a mesma escolha): vista da garras (superior + garras, para operações finas de contato) ou vista lateral de apoio (superior + lateral, para pegar/transportar/colocar — a deste curso).
- Conecte as duas câmeras e clique em Reescanear;
- Atribua os fluxos a Câmera frontal e Câmera lateral;
- Confira as duas pré-visualizações: braços, objeto e destino bem visíveis → Próximo.
22.4 Repetição de ações (aquecimento opcional)
22.4 Repetição de ações (aquecimento opcional)
Repetição de ações grava movimentos por ensino com o líder e os salva numa lista para reproduzir — um jeito prático de verificar a cadeia antes de partir para o dataset:
| Função | Operação | Objetivo |
|---|---|---|
| Gravar uma ação | Clique em + → ensine com o líder → Parar gravação | Registrar ações de pegar/mover/colocar |
| Reproduzir uma ação | Clique em Reproduzir | Checar continuidade, direção e abrir/fechar corretos da garras |
22.5 Dataset: configurar, gravar, limpar
22.5 Dataset: configurar, gravar, limpar
Recomenda-se a abordagem de lotes pequenos e várias sessões, exatamente como planejou o Capítulo 11: uns 10 episódios por leva; após 2–3 levas, mantenha 20–30 válidos para o primeiro treino; some dados de variantes complexas depois.
Configurar uma tarefa de coleta
Abra Dataset → Coletar dados e informe a tarefa:
| Campo | Exemplo | Orientação |
|---|---|---|
| Nome do dataset | SO-ARM101 pick-and-place A-to-B-01 | Nomes "dispositivo + tarefa + lote" |
| Descrição da tarefa | Move the object from the left to the right | Enuncie o objetivo; ao mesclar, as descrições devem coincidir exatamente |
| Episódios | 10 | Cada episódio completa uma tarefa inteira |
| Duração por episódio | 20–30 segundos | Cobrir a ação completa |
| Descanso | 5 segundos | Resetar braços e cena |
Gravar episódios
Cada episódio registra o fluxo completo: pegar em A → transportar → soltar em B. Mantenha o procedimento consistente; some pequenas variações de posição/ângulo só quando quiser mais generalização.
- Ponha o objeto em A, confirme a postura inicial e clique em Iniciar gravação;
- Ensine a tarefa com o líder e devolva o braço à postura inicial;
- Espere o tempo restante ou clique em ➡ (ou barra de espaço) para encerrar cedo;
- No descanso, devolva o objeto a A e prepare o próximo episódio.
Importante:
- Fixe as câmeras; braços, garras, objeto e os pontos A e B devem permanecer visíveis nas duas vistas;
- Não deixe ações-chave bloqueadas ou fora do quadro;
- Em falha, objeto caído, vídeo travado ou câmera tampada — clique em Regravar ou
Esc; - Pode terminar a leva primeiro e depois inspecionar e apagar episódios anômalos;
- Diante de risco de perda de controle ou colisão, pare na hora.
Inspecionar, apagar e mesclar
| Operação | Método |
|---|---|
| Inspecionar episódios | Selecione um, toque o vídeo/repetição; confira conclusão e movimento da garras |
| Apagar anômalos | Excluir episódios em lote → selecione → confirme → Gerar cópia com exclusão (o original não é sobrescrito) |
| Mesclar datasets | Mesclar → selecione → novo nome (descrições, combinações de dispositivos e câmeras devem coincidir) |
22.6 Treinamento
22.6 Treinamento
O treinamento transforma os dados de ensino num modelo de ações — a versão gráfica do Capítulo 15.
| Parâmetro | Opção / valor | Detalhe |
|---|---|---|
| Hardware de treino | Nuvem · GPU automática | Servidor em nuvem; consome créditos |
| Local · grátis | O computador atual; exige GPU local compatível | |
| Dataset de treino | Selecione o alvo | O dataset limpo de 22.5 |
| Política | ACT | A política padrão atual de controle de ações |
| Passos de treino | 10000 | Valor inicial; ajuste conforme os resultados |
Passos e episódios recomendados (alinhado com o Capítulo 11):
| Dificuldade | Descrição | Episódios | Passos |
|---|---|---|---|
| Iniciante | A fixo para B fixo | ~20 | 10.000–15.000 |
| Intermediário | Pegar e colocar em posições aleatórias | ~50 | 30.000–40.000 |
| Avançado | Vários passos ou longa duração | ~100 | 80.000–100.000 |
A duração depende da GPU e dos passos — 20.000 passos na nuvem levam de minutos a dezenas de minutos; 100.000 cerca de cinco vezes mais. Confirme e clique em Iniciar treinamento; acompanhe em Tarefas atuais.
22.7 Modelo e operação (inferência)
22.7 Modelo e operação (inferência)
Abra Modelo para ver os resultados; confirme que tarefa e combinação de dispositivos batem com o projeto. Depois Operação carrega o modelo nos braços:
- Selecione um modelo marcado como compatível com os braços atuais;
- Selecione o modo de inferência: nuvem ou local;
- Inicie a inferência e observe a tarefa rodar.
Nuvem vs. local:
| Comparação | Inferência na nuvem | Inferência local |
|---|---|---|
| Compute | GPU de nuvem de alto desempenho | CPU local (GPU local ainda sem suporte) |
| Desempenho depende de | Qualidade da rede | Desempenho da CPU |
| Parâmetros | Contagem de ações (padrão 120): passos previstos por inferência. Limiar de bloco (padrão 0.9 — maior mais cauteloso, menor mais fluido) | Contagem de execuções; limite de tempo por execução (encerra sozinho ao estourar) |
| Saída de dados | Apenas verificação de inferência | Gera automaticamente um dataset das execuções ao terminar |
| Custo | Sujeito a créditos da plataforma | Normalmente grátis, limitado pela CPU |
Antes de operar, confirme braços conectados e área segura. Durante a operação, não desconecte nem desmonte os braços, e observe tudo. Se o resultado decepcionar, volte ao Dataset — apague anômalos, some dados válidos e retreine. É o ciclo de iteração do Capítulo 16, mais uma vez.
22.8 Conclusão do curso
22.8 Conclusão do curso
Você levou o SO-ARM da caixa até uma política treinada e implantada — e por dois caminhos:
- O caminho do código (Fases 2-3): montar, calibrar, teleoperar, gravar, treinar ACT, avaliar, iterar;
- Os caminhos VLA (Fase 4): ajustar o GR00T na sua própria cadeia de GPU, ou rodar tudo sem código no SenseCraft Robotics.
Para onde ir agora:
- A dupla braço do Capítulo 17, se pulou;
- O Wiki de Robótica para o ecossistema mais amplo do SO-ARM: GR00T no Jetson Thor, AmazingHand, RL com Isaac Lab, simulação LeIsaac;
- Suas próprias tarefas — o curso inteiro era o andaime para elas.
Se o curso te ajudou, deixe uma Star no SO-ARM100 e no Seeed-Projects/lerobot no GitHub, e compartilhe o que construir nos grupos da introdução do curso.