9. Coletar dados do ambiente real
Teste as câmeras, grave episódios sincronizados de duas câmeras com
lerobot-record e verifique o dataset LeRobot v3 antes de qualquer
treinamento.
9.1 Testar as câmeras
9.1 Testar as câmeras
O capítulo 8 montou e pré-visualizou as câmeras; repita a checagem agora —
índices de /dev/video* mudam após reconectar ou reiniciar:
lerobot-find-cameras opencv
Mapeie as prévias para índices (o nome contém o índice) e exporte de novo:
export CAMERA_GRIPPER=4
export CAMERA_EXTERNAL=6
Confirme também que as variáveis do braço do capítulo 7 seguem ativas neste terminal:
echo "$TELEOP_PORT $TELEOP_ID $ROBOT_PORT $ROBOT_ID"
9.2 Gravar episódios
9.2 Gravar episódios
Com os braços calibrados e o estúdio pronto, execute:
export HF_USER=local # ou seu usuário do Hugging Face
lerobot-record \
--robot.type=so101_follower \
--robot.port=$ROBOT_PORT \
--robot.id=$ROBOT_ID \
--robot.cameras="{
front: {type: opencv, index_or_path: $CAMERA_GRIPPER, width: 640, height: 480, fps: 30},
external: {type: opencv, index_or_path: $CAMERA_EXTERNAL, width: 640, height: 480, fps: 30}
}" \
--teleop.type=so101_leader \
--teleop.port=$TELEOP_PORT \
--teleop.id=$TELEOP_ID \
--dataset.repo_id=so101_vials_real \
--dataset.root=$HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real \
--dataset.single_task="Put the three vials into the vial rack" \
--dataset.num_episodes=10 \
--dataset.push_to_hub=false \
--display_data=false \
--play_sounds=false
Siga os prompts do terminal para concluir cada episódio: pegue um frasco com o líder, coloque no rack, solte e deixe a cena estabilizar.
Flags principais:
| Flag | Por que este valor |
|---|---|
chaves front e external em --robot.cameras | Coincide exatamente com os nomes do dataset simulado (co-treinamento no capítulo 12) |
--dataset.single_task | Deve ser esta frase exata em todo lugar — prompts e rótulos dependem dela |
--dataset.num_episodes | Comece com 10; o mínimo do workshop da NVIDIA é 5, 50 é uma política decente |
--dataset.push_to_hub=false | Tudo local; envie só se quiser backup |
--display_data=false | Evita renderizar cada quadro na máquina de gravação |
Um episódio abortado no meio ensina a política a parar no meio. Termine a colocação e aperte a seta direita. Cinco trajetórias limpas valem mais que vinte interrompidas.
9.3 Controles de gravação e segurança
9.3 Controles de gravação e segurança
| Tecla | Ação |
|---|---|
| Seta direita | Encerra antes o episódio atual e vai para o próximo |
| Seta esquerda | Descarta o episódio atual e regrava |
Esc | Encerra a sessão, codifica os vídeos e finaliza o dataset |
Se o seguidor se mover inesperadamente:
- Aperte
Ctrl+Cprimeiro; - Se continuar se movendo, corte a alimentação de 12 V do seguidor;
- Retorne o braço ao ponto médio com a mão;
- Antes de reiniciar, revise calibração e ID do líder.
Em algumas instalações do Ubuntu é preciso fixar o pynput. No ambiente
LeRobot:
pip install pynput==1.6.8
9.4 Armazenamento, checkpoints e retomada
9.4 Armazenamento, checkpoints e retomada
- Os dados usam o formato
LeRobotDatasete são gravados em disco durante a captura, no caminho de--dataset.root; - Com
--dataset.push_to_hub=false, nada é enviado; - Checkpoints são criados automaticamente durante a gravação. Para retomar
após uma interrupção, rode o mesmo comando com
--resume=true; - Para recomeçar do zero, apague o diretório do dataset.
Ao retomar, --dataset.num_episodes é o número de episódios extras a
gravar, não o total desejado.
Se o braço travar no meio da sessão, aumente o tempo de episódio com
--dataset.episode_time_s=90 (padrão 60) e regrave.
9.5 Verificar o dataset
9.5 Verificar o dataset
Confira os metadados:
python3 -c "
import json
info = json.load(open('$HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real/meta/info.json'))
print('fps:', info['fps'], 'episodes:', info['total_episodes'], 'frames:', info['total_frames'])
print({k: v['shape'] for k, v in info['features'].items()})
"
Esperado:
fps: 30 episodes: 10 frames: ...
{'observation.state': [6], 'observation.images.front': [480, 640, 3],
'observation.images.external': [480, 640, 3], 'action': [6], ...}
Dois fluxos de câmera e seis dimensões de juntas são o contrato com o resto do pipeline. Se alguma forma divergir, apague o diretório e regrave com as mesmas flags.
Conte os vídeos:
find $HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real/videos -name "*.mp4" | wc -l
Dez episódios × duas câmeras = 20 arquivos. Uma checagem visual rápida:
lerobot-dataset-viz \
--repo-id so101_vials_real \
--root $HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real \
--episode-index 0 \
--display-compressed-images true
9.6 Checklist de qualidade dos dados
9.6 Checklist de qualidade dos dados
Antes de treinar, revise alguns episódios por completo:
- Todo episódio completa a tarefa — frasco solto no rack;
- Movimentos suaves; sem pausas longas ou correções bruscas;
- Frascos começam em posições variadas entre episódios;
- A visão do punho mostra as garras e o frasco; a externa mostra o rack;
- Sem quadros perdidos (vídeo travado) e sem autofocus oscilando;
- A frase da tarefa é idêntica em todos.
Um dataset que falha em qualquer desses pontos produz uma política que falha de um jeito irritantemente específico na implantação. Corrija os dados agora; o treinamento não corrige por você.