Pular para o conteúdo principal
Módulo 3 · Capítulo 13 · Opcional · Aumento

13. Aumento de datasets

Dados reais são caros e estreitos. Use o NVIDIA Cosmos Transfer para re-renderizar episódios gravados em cenas novas mantendo o movimento do robô — e treine com o dataset ampliado.

Este capítulo é material opcional avançado

Recomenda-se completar antes o loop real (coletar → treinar → avaliar, capítulos 9–11). O fluxo serve tanto para o dataset real do capítulo 9 quanto para o simulado do capítulo 12.

13.1 Por que aumentar​

Limites dos dados reais

13.1 Por que aumentar

Coletar dados em cenários reais tem custo alto e limitações grandes:

  • Ambientes limitados: normalmente grava-se em poucas cenas fixas;
  • Overfitting de fundo: as redes podem aprender traços irrelevantes à tarefa (cor da parede, iluminação, disposição) e falhar em ambientes novos;
  • Custo de coleta alto: cada cena extra exige reimplantação, recalibração e recoleta.

Usamos o Cosmos Transfer, modelo generativo de ponta, para modificar as cenas de vídeo e ampliar a diversidade do dataset, melhorando a robustez.

13.2 Como o Cosmos Transfer funciona​

Vídeo para vídeo

13.2 Como o Cosmos Transfer funciona

O NVIDIA Cosmos é uma plataforma de IA básica para acelerar o desenvolvimento de IA física (robótica e veículos autônomos). O Cosmos Transfer é um modelo generativo vídeo-a-vídeo. Ele recebe três entradas:

EntradaObjetivoExemplo
Vídeo-fonte (vision)Fornece a dinâmica temporalVídeo de manipulação da câmera externa SO-101
Sinais de controleRestringem a estrutura espacial, preservam a morfologiaMapa de bordas Canny + segmentação SAM2
Prompt de textoDescreve a aparência da cena-alvo"A modern laboratory with white lab benches..."

Os sinais de controle (bordas + segmentação) travam a forma e o movimento do robô; o prompt de texto define o novo fundo.

Tipo de controleObjetivoPré-cálculo?
EdgePreserva contornos, evita deformar o sujeitoOpcional (Canny automático)
SegmentationPreserva regiões semânticas (robô/objeto/fundo)Obrigatório (SAM2)
BlurPreserva o layout global, permite variar texturaOpcional
DepthPreserva relações de profundidadeObrigatório (DepthAnything)
As etiquetas de ação valem direto

O Transfer preserva a trajetória do robô, então as ações originais (ângulos, estado da garra) servem como estão nos vídeos aumentados. O peso alto de borda (0,9) é o que torna esse reaproveitamento seguro.

13.3 Montar o ambiente​

GPU e instalação

13.3 Montar o ambiente

Requisitos de hardware:

ModeloVRAM mínimaGPU recomendada
Cosmos-Nano~24 GBUma RTX 4090 / A5000 / Jetson AGX Thor
Cosmos-Super~80 GB × 44× A100 / H100

Instalação:

# Clone o repositório Cosmos
git clone https://github.com/NVIDIA/Cosmos.git
cd Cosmos

# Entre no diretório do framework
cd packages/cosmos3

# Crie um ambiente virtual
uv venv --python 3.13
source .venv/bin/activate

# Instale as dependências
uv pip install -e ".[inference]"

# Entre no Hugging Face e baixe os pesos
huggingface-cli login
hf download nvidia/Cosmos-Nano --local-dir /path/to/models/Cosmos-Nano

13.4 Preparar seus dados​

Controles e prompts

13.4 Preparar seus dados

Estrutura de diretórios:

your_project/
├── controls/
│ └── episode_000/
│ ├── vision.mp4 # Vídeo-fonte (gravação do robô)
│ ├── control_edge.mp4 # Mapa de bordas Canny
│ └── control_seg.mp4 # Segmentação SAM2
├── prompts/
│ ├── lab_prompt.json # Prompt da cena-alvo
│ └── workshop_prompt.json
├── specs/
│ └── my_lab.json # Configuração de inferência
├── negative_prompt.json
└── outputs/

Extraia um clipe do seu dataset SO-101 (o fluxo superior external dá a melhor estrutura para o aumento):

ffmpeg -i ~/rebot-arm-dli-isaacsim/datasets/so101_vials_real/videos/chunk-000/observation.images.external/episode_000000.mp4 \
-c copy your_project/controls/episode_000/vision.mp4

Gere o sinal de bordas:

python -c "
import cv2
cap = cv2.VideoCapture('your_project/controls/episode_000/vision.mp4')
fps = cap.get(cv2.CAP_PROP_FPS)
w, h = int(cap.get(3)), int(cap.get(4))
out = cv2.VideoWriter('your_project/controls/episode_000/control_edge.mp4',
cv2.VideoWriter_fourcc(*'avc1'), fps, (w, h), True)
while True:
ret, frame = cap.read()
if not ret: break
edges = cv2.Canny(cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY), 50, 150)
out.write(cv2.cvtColor(edges, cv2.COLOR_GRAY2BGR))
cap.release(); out.release()
print('edge control done')
"

Gere a segmentação com SAM2 (instalação à parte):

pip install sam2
python your_sam2_script.py \
--input your_project/controls/episode_000/vision.mp4 \
--output your_project/controls/episode_000/control_seg.mp4

Escreva o prompt da cena, por exemplo prompts/lab_prompt.json:

{
"subjects": [{
"description": "A white SO-ARM101 robotic arm performing a tabletop pick-and-place task",
"appearance_details": "White 3D-printed links, small two-finger gripper, wrist-mounted camera",
"action": "pick up a vial and place it into a yellow rack",
"pose": "Arm reaches toward the vial, gripper closes, the vial lifts and moves to the rack",
"state_changes": "Gripper transitions from open to closed; the held vial is lifted and placed"
}],
"background_setting": "A modern laboratory with white lab benches, soft diffuse lighting, and a plain grey mat",
"lighting": {
"description": "Even, diffuse overhead lighting with no hard shadows"
}
}

13.5 Rodar a inferência​

Gerar

13.5 Rodar a inferência

cd /path/to/cosmos/packages/cosmos3

export TRANSFER_ROOT="/path/to/your_project"

CUDA_VISIBLE_DEVICES=0 \
.venv/bin/python -m cosmos_framework.scripts.inference \
--parallelism-preset=latency \
-i "$TRANSFER_ROOT/specs/my_lab.json" \
-o "$TRANSFER_ROOT/outputs/" \
--checkpoint-path Cosmos-Nano \
--seed 2026

Parâmetros de guia (o que importa é a proporção dos pesos; a soma deve ser ≈ 1,0):

ParâmetroRecomendadoEfeito
guidance3,0Força do CFG de texto — o quanto segue o prompt
control_guidance1,5Força do CFG de controle — o quão rígido preserva o movimento
edge.weight0,75–0,9Preserva a estrutura do sujeito
seg.weight0,1–0,25Consistência semântica auxiliar
Se o robô deformar

Suba edge.weight (0,9 → 0,95), baixe seg.weight e aumente control_guidance. Se o fundo quase não muda, suba guidance e descreva a cena-alvo com mais detalhe. Em OOM: reduza a resolução para "480" e num_video_frames_per_chunk para 33.

Geração em lote: embrulhe o comando num loop shell sobre os diretórios de episódios para multiplicar o dataset em várias cenas-alvo.

13.6 Integrar ao pipeline de treinamento​

De volta ao GR00T

13.6 Integrar ao pipeline de treinamento

Os vídeos aumentados reaproveitam os rótulos de ação e estado do episódio original — sem re-rotular. Para incorporá-los:

  1. Construa os episódios aumentados como datasets LeRobot (as mesmas seis colunas de juntas, as mesmas chaves front/external, a mesma frase de tarefa);
  2. Mescle com o dataset real como os dados de sim do capítulo 12 — toda fonte com features iguais entra no lerobot-edit-dataset --operation.type=merge;
  3. Converta o conjunto mesclado para GR00T v2 e treine como no capítulo 10, ajustando EPISODE_SAMPLING_RATE / DS_WEIGHTS_ALPHA quando as fontes forem desiguais.

Checagem de qualidade antes de treinar com dados aumentados: percorra os quadros e confirme que o robô parece correto e os fundos críveis; depois rode um teste curto de transferência — treine brevemente com dados aumentados e compare a taxa de sucesso real com uma versão treinada só com dados reais.

13.7 Referências​

Links

13.7 Referências

Continue no módulo 4: Capítulo 14 — Preparar seu Jetson.

Loading Comments...