8. Montando o ambiente de trabalho
A tarefa é sempre a mesma: colocar três frascos no rack. Este capítulo monta o estúdio que torna a tarefa gravável e repetível — lista de hardware, lightbox, suportes, posições de objetos e câmeras.
8.1 Lista de hardware
8.1 Lista de hardware
| Item | Descrição | Qtd |
|---|---|---|
| Kit Pro SO-ARM101 (líder + seguidor) | Kit de braço IA SO-ARM101 | 1 |
| Câmeras USB ×2 | Uma para o punho e uma externa; qualquer câmera UVC a 640×480 e 30 FPS | 2 |
| Suportes de câmera | Suporte de punho do workshop + um suporte externo rígido | 2 |
| Rack de frascos e três frascos | Objetos da tarefa — mesma geometria do gêmeo digital | 1 kit |
| Lightbox ou caixa de foam + luz difusa | Fundo uniforme e iluminação estável | 1 |
| Tapete não refletivo | Superfície para os objetos | 1 |
| Hub USB alimentado | Se o PC ou Jetson não tiver portas suficientes | 1 |
Políticas aprendem o que as câmeras veem. Uma mesa comum com janela atrás produz um dataset cheio de mudanças de luz; o estúdio remove esse ruído. A abordagem segue os capítulos de dataset do curso iniciante (capítulo 11 — design de tarefas e capítulo 12 — configuração de câmeras).
8.2 O lightbox
8.2 O lightbox
O estúdio mínimo:
| Item | Objetivo |
|---|---|
| Caixa de foam ou tapete liso | Fundo uniforme atrás dos objetos |
| Luz branca difusa (luminária com difusor, ou 2 LEDs a 45°) | Luz suave e estável sem sombras duras |
| Superfície não refletiva | Frascos e rack visíveis das duas câmeras |
| Posição fixa do robô | Seguidor parafusado ou fixado com fita, base voltada aos objetos |
Várias fontes desiguais criam reflexos móveis nos frascos brilhantes. Uma luz superior difusa mais a luz ambiente é mais fácil de reproduzir outro dia — o que importa quando você gravar mais episódios.
8.3 Suportes e fixações
8.3 Suportes e fixações
Dois suportes carregam as câmeras; ambos precisam de rigidez suficiente para sobreviver a uma semana de gravação sem desviar.
Suporte da câmera de punho. Montado na garra do seguidor, seguindo o suporte oficial do workshop SO-101: a câmera fica acima das garras, inclinada cerca de 45° para baixo, de modo que as pontas e o objeto agarrado permaneçam enquadradados em todo o alcance. Imprima ou compre o suporte do workshop e aperte bem os parafusos — uma câmera de punho que gira no meio de um episódio invalida todos os episódios seguintes.
Suporte da câmera externa. Qualquer suporte rígido serve: tripé pequeno, poste de perfil 2020 ou braço articulado preso à mesa. Posicione acima e à frente do espaço para que um quadro cubra o rack, as três posições de frascos e a maior parte do alcance do seguidor. Não segure com a mão nem prenda na mesma tábua que o seguidor empurra.
Cabeamento: deixe folga no punho para o laço não enganchar e afaste os dois cabos da área de trabalho do seguidor.
8.4 Posições dos objetos
8.4 Posições dos objetos
A definição da tarefa faz parte do dataset. Mantenha-a consistente:
- Rack de frascos: à direita da base do seguidor, ao alcance confortável — mesmo lado e distância do gêmeo digital;
- Três frascos: espalhados na área à frente do braço, a uns 10–20 cm; recoloque-os à mão entre episódios;
- Frase da tarefa:
Put the three vials into the vial rack— a string exata usada na gravação do capítulo 9 e no dataset do gêmeo. Não parafraseie entre episódios.
Prenda o rack com fita e marque a área de frascos no tapete. Reproduzir posições importa mais que precisão milimétrica.
Se for coletar episódios simulados (capítulo 12), alinhe a bancada à cena do gêmeo — o gêmeo é a especificação:
| Checagem | Referência no sim | Bancada real |
|---|---|---|
| Posição do rack | Fixa em SO101_RACK_POSITION | Mesmo lado e distância relativos à base |
| Área inicial dos frascos | SO101_VIAL_POSITIONS | Mesma região de 10–20 cm à frente do braço |
| Visadas de câmera | Punho + externa | Mesmo enquadramento, 640×480, 30 FPS |
| Iluminação | Dome + luz principal | Difusa, sem sombra forte no rack |
Um desvio de 1–2 cm é tolerável. Rack do outro lado, câmera em outra altura ou câmera na mão, não.
8.5 Câmeras
8.5 Câmeras
Liste as câmeras e capture uma prévia de cada uma:
lerobot-find-cameras opencv
As imagens vão para outputs/captured_images/; o nome do arquivo contém
o índice do dispositivo: opencv__dev_video4.png é o índice 4. Exporte:
export CAMERA_GRIPPER=4
export CAMERA_EXTERNAL=6
Índices podem mudar após reiniciar ou reconectar; repita a checagem antes de cada sessão de gravação. Bloqueie foco e exposição se a câmera suportar — autofocus caçando durante um episódio vira quadros borrados de treino.
Verifique as duas visadas durante a teleoperação:
lerobot-teleoperate \
--robot.type=so101_follower \
--robot.port=$ROBOT_PORT \
--robot.id=$ROBOT_ID \
--teleop.type=so101_leader \
--teleop.port=$TELEOP_PORT \
--teleop.id=$TELEOP_ID \
--display_data=true \
--robot.cameras="{
front: {type: opencv, index_or_path: $CAMERA_GRIPPER, width: 640, height: 480, fps: 30},
external: {type: opencv, index_or_path: $CAMERA_EXTERNAL, width: 640, height: 480, fps: 30}
}"
O curso grava com as chaves front (câmera de punho) e external
(câmera superior) para que o dataset real tenha exatamente os mesmos nomes
de features do simulado no capítulo 12 — é isso que permite o
co-treinamento sim+real sem renomear features. O capítulo 10 mapeia os dois
fluxos para as entradas wrist e front do GR00T.
8.6 Checklist do estúdio
8.6 Checklist do estúdio
- Lightbox ou tapete no lugar, uma luz difusa, sem sombra forte no rack;
- Seguidor fixado; líder ao alcance das mãos;
- Suporte de punho rígido, câmera inclinada ~45°, enxerga as garras;
- Câmera externa em suporte rígido, enxerga o rack e os três slots;
- As duas câmeras pré-visualizam a 640×480 e 30 FPS, foco travado;
CAMERA_GRIPPEReCAMERA_EXTERNALexportados;- Rack preso com fita, área de frascos marcada, frase da tarefa fixada.