14. Estructura del Dataset e Inspección de Calidad
Capítulo 14 del Curso de Introducción a la IA Física de Seeed: qué se almacena realmente en disco, los cuatro estándares de calidad, reproducción e inspección de imágenes, y qué hacer cuando se encuentran problemas.
14.1 Estructura del Dataset: Qué se Almacena Realmente en Disco
14.1 Estructura del Dataset: Qué se Almacena Realmente en Disco
El dataset grabado en el Capítulo 13, seeed_rebot_b601_rs/test, se ve así en disco:
~/.cache/huggingface/lerobot/seeed_rebot_b601_rs/test/
├── data/
│ └── chunk-000/
│ └── file-000.parquet ← All numeric frames (state / action / timestamps)
├── videos/
│ ├── observation.images.front/
│ │ └── chunk-000/
│ │ └── file-000.mp4 ← Overhead camera: 50 videos concatenated
│ └── observation.images.wrist/
│ └── chunk-000/
│ └── file-000.mp4 ← Wrist camera: same
└── meta/
├── info.json ← Info: version, fps, total frames, feature definitions
├── stats.json ← Stats: mean/variance/extremes per feature
├── tasks.parquet ← Task description table
└── episodes/
└── chunk-000/
└── file-000.parquet ← Profile card for each Episode
Tres formatos de almacenamiento, cada uno para un tipo de datos:
| Formato | Qué almacena | Por qué |
|---|---|---|
| Vídeo MP4 | Todos los fotogramas de imagen de ambas cámaras | Las imágenes ocupan >90% del tamaño del dataset; la compresión de vídeo ahorra de 1 a 2 órdenes de magnitud frente a imágenes por fotograma. |
| Tabla Parquet | Valores numéricos por fotograma: estado, acción, marcas de tiempo, índices | Almacenamiento columnar; leer "todos los valores de la articulación 3" no requiere cargar el archivo completo. |
| Metainformación | Definiciones de estructura, estadísticas, tareas, índice de episodios | Los cargadores y programas de entrenamiento leen esto primero para saber cómo interpretar los otros dos. |
14.2 Qué se Considera Datos "Buenos": Cuatro Estándares de Calidad
14.2 Qué se Considera Datos "Buenos": Cuatro Estándares de Calidad
Para juzgar si un dataset está listo para el entrenamiento, observa cuatro dimensiones:
14.3 Reproducción e Inspección de Imágenes
14.3 Reproducción e Inspección de Imágenes
Para la reproducción de visualización usa lerobot-dataset-viz; para la reproducción en robot real usa lerobot-replay. Para la reproducción en robot real, utiliza el Episodio 0, uno en medio y el último: el primero comprueba la corrección del flujo de trabajo, el del medio comprueba la deriva de estado, el último revela más fácilmente la disminución de calidad relacionada con la fatiga.
Durante la reproducción, comprueba según estos criterios:
- Ambas señales de cámara presentes; sin pantallas negras, artefactos ni flujos congelados.
- Imágenes claras y bien expuestas; el bloque y la garra siempre visibles.
- Acciones sincronizadas con las imágenes: en el momento en que la garra se cierra, debe estar tocando el bloque.
- Comienza en la postura inicial estándar y termina cumpliendo las condiciones finales.
14.4 Qué Hacer Cuando se Encuentran Problemas
14.4 Qué Hacer Cuando se Encuentran Problemas: Borrar, Complementar o Volver a Grabar Todo el Conjunto
Tres caminos cuando se encuentran problemas:
- Unos pocos Episodios malos (por ejemplo, los Episodios 3 y 17 están borrosos) → borra esos 2 y luego graba 2 más.
- Problemas en todo el lote (por ejemplo, la mitad tiene iluminación cambiada, todo el lote tiene desincronización de audio y vídeo) → no lo remiendes, vuelve a grabar todo el conjunto. Un dataset parcheado perjudica más al modelo que tener menos datos.
Dos hechos sobre el borrado: después de borrar, la herramienta reconstruye automáticamente el dataset: los episodios se renumeran de forma consecutiva, stats.json se recalcula; no necesitas corregir nada manualmente. Tanto si borras como si complementas, la herramienta regenera la metainformación.