Pular para o conteúdo principal
Módulo 3 · Capítulo 9 · Get Your Own VLA Model

9. Coletar dados do ambiente real

Teste as câmeras, grave episódios sincronizados de duas câmeras com lerobot-record e verifique o dataset LeRobot v3 antes de qualquer treinamento.

9.1 Testar as câmeras​

Antes de gravar

9.1 Testar as câmeras

O capítulo 8 montou e pré-visualizou as câmeras; repita a checagem agora — índices de /dev/video* mudam após reconectar ou reiniciar:

lerobot-find-cameras opencv

Mapeie as prévias para índices (o nome contém o índice) e exporte de novo:

export CAMERA_GRIPPER=4
export CAMERA_EXTERNAL=6

Confirme também que as variáveis do braço do capítulo 7 seguem ativas neste terminal:

echo "$TELEOP_PORT $TELEOP_ID $ROBOT_PORT $ROBOT_ID"

9.2 Gravar episódios​

lerobot-record

9.2 Gravar episódios

Com os braços calibrados e o estúdio pronto, execute:

export HF_USER=local   # ou seu usuário do Hugging Face

lerobot-record \
--robot.type=so101_follower \
--robot.port=$ROBOT_PORT \
--robot.id=$ROBOT_ID \
--robot.cameras="{
front: {type: opencv, index_or_path: $CAMERA_GRIPPER, width: 640, height: 480, fps: 30},
external: {type: opencv, index_or_path: $CAMERA_EXTERNAL, width: 640, height: 480, fps: 30}
}" \
--teleop.type=so101_leader \
--teleop.port=$TELEOP_PORT \
--teleop.id=$TELEOP_ID \
--dataset.repo_id=so101_vials_real \
--dataset.root=$HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real \
--dataset.single_task="Put the three vials into the vial rack" \
--dataset.num_episodes=10 \
--dataset.push_to_hub=false \
--display_data=false \
--play_sounds=false

Siga os prompts do terminal para concluir cada episódio: pegue um frasco com o líder, coloque no rack, solte e deixe a cena estabilizar.

Flags principais:

FlagPor que este valor
chaves front e external em --robot.camerasCoincide exatamente com os nomes do dataset simulado (co-treinamento no capítulo 12)
--dataset.single_taskDeve ser esta frase exata em todo lugar — prompts e rótulos dependem dela
--dataset.num_episodesComece com 10; o mínimo do workshop da NVIDIA é 5, 50 é uma política decente
--dataset.push_to_hub=falseTudo local; envie só se quiser backup
--display_data=falseEvita renderizar cada quadro na máquina de gravação
Comece com demonstrações lentas e completas

Um episódio abortado no meio ensina a política a parar no meio. Termine a colocação e aperte a seta direita. Cinco trajetórias limpas valem mais que vinte interrompidas.

9.3 Controles de gravação e segurança​

Teclado

9.3 Controles de gravação e segurança

TeclaAção
Seta direitaEncerra antes o episódio atual e vai para o próximo
Seta esquerdaDescarta o episódio atual e regrava
EscEncerra a sessão, codifica os vídeos e finaliza o dataset

Se o seguidor se mover inesperadamente:

  1. Aperte Ctrl+C primeiro;
  2. Se continuar se movendo, corte a alimentação de 12 V do seguidor;
  3. Retorne o braço ao ponto médio com a mão;
  4. Antes de reiniciar, revise calibração e ID do líder.
Teclado não responde

Em algumas instalações do Ubuntu é preciso fixar o pynput. No ambiente LeRobot:

pip install pynput==1.6.8

9.4 Armazenamento, checkpoints e retomada​

Onde os dados vivem

9.4 Armazenamento, checkpoints e retomada

  • Os dados usam o formato LeRobotDataset e são gravados em disco durante a captura, no caminho de --dataset.root;
  • Com --dataset.push_to_hub=false, nada é enviado;
  • Checkpoints são criados automaticamente durante a gravação. Para retomar após uma interrupção, rode o mesmo comando com --resume=true;
  • Para recomeçar do zero, apague o diretório do dataset.
Sobre retomar

Ao retomar, --dataset.num_episodes é o número de episódios extras a gravar, não o total desejado.

Se o braço travar no meio da sessão, aumente o tempo de episódio com --dataset.episode_time_s=90 (padrão 60) e regrave.

9.5 Verificar o dataset​

Inspecionar antes de treinar

9.5 Verificar o dataset

Confira os metadados:

python3 -c "
import json
info = json.load(open('$HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real/meta/info.json'))
print('fps:', info['fps'], 'episodes:', info['total_episodes'], 'frames:', info['total_frames'])
print({k: v['shape'] for k, v in info['features'].items()})
"

Esperado:

fps: 30 episodes: 10 frames: ...
{'observation.state': [6], 'observation.images.front': [480, 640, 3],
'observation.images.external': [480, 640, 3], 'action': [6], ...}

Dois fluxos de câmera e seis dimensões de juntas são o contrato com o resto do pipeline. Se alguma forma divergir, apague o diretório e regrave com as mesmas flags.

Conte os vídeos:

find $HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real/videos -name "*.mp4" | wc -l

Dez episódios × duas câmeras = 20 arquivos. Uma checagem visual rápida:

lerobot-dataset-viz \
--repo-id so101_vials_real \
--root $HOME/rebot-arm-dli-isaacsim/datasets/so101_vials_real \
--episode-index 0 \
--display-compressed-images true

9.6 Checklist de qualidade dos dados​

Fique de olho

9.6 Checklist de qualidade dos dados

Antes de treinar, revise alguns episódios por completo:

  • Todo episódio completa a tarefa — frasco solto no rack;
  • Movimentos suaves; sem pausas longas ou correções bruscas;
  • Frascos começam em posições variadas entre episódios;
  • A visão do punho mostra as garras e o frasco; a externa mostra o rack;
  • Sem quadros perdidos (vídeo travado) e sem autofocus oscilando;
  • A frase da tarefa é idêntica em todos.

Um dataset que falha em qualquer desses pontos produz uma política que falha de um jeito irritantemente específico na implantação. Corrija os dados agora; o treinamento não corrige por você.

Próximo: Capítulo 10 — Treinar a política GR00T N1.7.

Loading Comments...