Saltar al contenido principal

Uso de bloques de herramientas

En el flujo de despliegue puedes insertar funciones integradas de SenseCraft AI con un solo clic. Agilizan tanto tu experiencia de creación como el despliegue para el usuario final.

Visión por IA​

Despliega modelos de visión por IA para reconocimiento, detección, clasificación de objetos y tareas relacionadas en hardware compatible. Los resultados de inferencia se pueden transmitir en tiempo real mediante MQTT, GPIO o serie (Serial), según la configuración.

El bloque de herramientas actualmente admite Detección y Clasificación. La segmentación y la estimación de pose están previstas para una versión posterior.

Dispositivos compatibles​

Seleccionar un modelo​

  • Modelo de SenseCraft AI: Selecciona modelos de alta calidad compartidos públicamente por la comunidad desde la biblioteca de modelos.
  • Mi modelo: Elige un modelo de tu lista privada guardada.
  • Subir modelo: Sube archivos de modelo entrenados en plataformas de terceros. Debes proporcionar el nombre del modelo, el tipo de tarea (Task), las categorías del modelo (Class ID y Class Name), adjuntar el archivo del modelo y seleccionar los dispositivos compatibles. Después de subirlo, el modelo aparece en Mi modelo.
  • Entrenar modelo: Para entrenar un modelo nuevo o reentrenar uno existente, abre la entrada de entrenamiento y sigue el asistente. Cuando termines, abre Modelos históricos, elige Send to SenseCraft, completa el flujo de subida y guarda el resultado en Mi modelo.
precaución

Cuando publiques una aplicación que incluya un modelo privado en la comunidad, ese modelo se volverá público automáticamente.

Seleccionar dispositivo​

En el menú desplegable, elige el hardware que realmente utilizas de la lista compatible con este modelo.

Parámetros recomendados​

Ajusta la inferencia y la configuración del dispositivo para tu escenario. Estos valores se escriben en el dispositivo como valores predeterminados en el momento del despliegue.

  • Umbral de confianza: Criterio para decidir si el modelo emite una predicción final. Aumentar el umbral tiende a reducir falsos positivos; disminuirlo tiende a reducir falsos negativos.
  • Umbral de IOU: En tareas de detección, IoU compara las cajas predichas con la verdad de terreno. Un umbral más alto ayuda a separar objetos superpuestos, pero puede producir cajas duplicadas sobre un mismo objeto si se establece demasiado alto. Un umbral más bajo fusiona duplicados, pero puede fusionar dos objetos cercanos si se establece demasiado bajo.

Modo de salida​

  • Ninguno: Después de encender, la inferencia no se inicia hasta que se ejecute otro disparador. Adecuado para configuraciones de bajo consumo donde la inferencia solo se ejecuta cuando es necesario.
  • MQTT: Inicia la inferencia inmediatamente después de encender y envía los resultados por Wi‑Fi mediante MQTT.
    • Servicio oficial de SenseCraft (recomendado): Selecciona o crea un Dev Kit para tu aplicación y MQTT se configura automáticamente. Abre la plataforma de datos SenseCraft para ver y procesar los datos entrantes.
    • Servicio de terceros: Usa tu propio broker MQTT o uno de terceros y configura los parámetros manualmente.
  • GPIO: Controla pines GPIO con señales de nivel.
    • Condiciones de disparo: Define reglas con objeto, condición y umbral de confianza.
    • Acciones de disparo: Cuando se cumplan las condiciones, el dispositivo puede poner un pin en alto/bajo, guardar capturas en la tarjeta SD, encender un LED, etc.
  • Serie: Usa la biblioteca SSCMACore para exportar datos de inferencia por UART (GPIO), I2C o SPI.
**UART (GPIO)**
Baud Rate Value: 921600
Data Format: 8N1
TX: GPIO43
RX: GPIO44

**I2C**
Slave Address: 0x62
SDA: GPIO5 (PULLUP)
SCL: GPIO6 (PULLUP)
Protocol:
- READ：0x10，0x01, LEN << 8, LEN & 0xff
- WRITE: 0x10，0x02, LEN << 8, LEN & 0xff
- AVAIL(to read): 0x10，0x03
- RESET(clear buffer): 0x10，0x06

**SPI**
Slave CPOL0 CPHA0
MOSI GPIO9 (PULLUP)
MISO GPIO8,
SCLK GPIO7 (PULLUP)
CS GPIO4 (PULLUP)
Protocol:
- READ：0x10，0x01, LEN << 8, LEN & 0xff
- WRITE: 0x10，0x02, LEN << 8, LEN & 0xff
- AVAIL(to read): 0x10，0x03
- RESET(clear buffer): 0x10，0x06

Audio por IA​

Despliega modelos de audio por IA para reconocimiento de voz en hardware compatible. Los resultados se pueden transmitir mediante MQTT, GPIO o serie, según la configuración.

Dispositivos compatibles​

Seleccionar un modelo​

  • Modelo de SenseCraft AI: Selecciona modelos compartidos por la comunidad desde la biblioteca.
  • Mi modelo: Elige desde tu lista privada.
  • Subir modelo: Sube archivos de modelo entrenados en plataformas de terceros. Proporciona el nombre del modelo y las categorías (Class ID y Class Name). Después de subirlo, el modelo aparece en Mi modelo.
  • Entrenar modelo: Entrena un modelo nuevo o actualizado y luego envíalo a SenseCraft desde Modelos históricos, igual que con los modelos de visión.
precaución

Cuando publiques una aplicación que incluya un modelo privado en la comunidad, ese modelo se volverá público automáticamente.

Seleccionar dispositivo​

Los modelos de audio actualmente solo son compatibles con XIAO ESP32S3 Sense.

Parámetros recomendados​

Ajusta los valores para tu escenario.

  • Umbral de confianza: Mismo papel que para visión; ajusta el equilibrio entre salidas omitidas y espurias.
  • Modo de salida: Ruta de salida predeterminada para el modelo de audio.

Vibración por IA​

Despliega detección de anomalías de vibración aprendiendo la vibración “normal” y marcando las desviaciones.

Dispositivos compatibles​

Parámetros recomendados​

Ajusta el muestreo, el comportamiento al encender, GPIO y la salida para tu configuración.

  • Ventana de muestreo: Muestras por unidad de tiempo. Demasiado grande ralentiza la inferencia; demasiado pequeña puede infraajustar la vibración normal.
  • Habilitar inferencia predeterminada al encender: Cuando está desactivado, la inferencia no se inicia automáticamente al encender; usa un disparador externo para un uso de baja potencia.
  • GPIO: Controla pines ante vibración anómala; por ejemplo, establecer un nivel o conmutar un LED.
  • Modo de salida: Ruta de salida predeterminada para el modelo de vibración.

Desplegar aplicación de contenedor​

Despliega aplicaciones de contenedor en dispositivos de borde en unos pocos clics.

Aplicaciones destacadas​

La biblioteca integrada incluye (y sigue creciendo):

  • Home Assistant — concentrador de automatización del hogar de código abierto
  • Ollama — ejecuta modelos de lenguaje grandes de código abierto localmente en el borde
  • OpenClaw — plataforma de código abierto para desplegar y gestionar aplicaciones de borde en contenedores
  • reComputer AI Suite — Computer Vision (CV), Vision-Language Models (VLM) y Large Language Models (LLM) optimizados para hardware reComputer

Compatible con M1 Gate, Raspberry Pi 4 / 5, NVIDIA Jetson y Seeed reComputer.

Cómo funciona con SenseCraft Fleet​

Las aplicaciones en contenedor se gestionan en SenseCraft Fleet y se despliegan a través de SenseCraft AI (en Applications):

  • SenseCraft Fleet es donde residen las imágenes de contenedor: subes imágenes, defines su esquema de configuración y vinculas tus dispositivos.
  • SenseCraft AI es donde eliges una app de tu biblioteca, seleccionas un dispositivo de destino, la configuras y lanzas el despliegue.

Tu cuenta de SenseCraft AI se vincula automáticamente con SenseCraft Fleet; los dispositivos vinculados y las apps se mantienen sincronizados en ambas plataformas.

Plataformas compatibles​

Las apps son específicas de la plataforma: la imagen y el dispositivo de destino deben coincidir:

  • Linux / ARM64 — p. ej., Seeed reComputer, Raspberry Pi 4 / 5, NVIDIA Jetson, M1 Gate
  • Linux / AMD64 — próximamente

Flujo de trabajo de configuración​

Seleccionar una app: Elige desde la biblioteca de apps en SenseCraft Fleet, el catálogo integrado. Si prefieres subir tu aplicación en contenedor personalizada, tendrás que añadirla a través de SenseCraft Fleet.

Configurar la app: Cada app expone los elementos de configuración que su autor definió en SenseCraft Fleet. Normalmente no deberías necesitar configurar nada, a menos que tengas requisitos especiales.

Flujo de trabajo de despliegue​

Paso 1 — Seleccionar una app: Haz clic en Deploy Container App. SenseCraft AI carga toda tu biblioteca de apps desde SenseCraft Fleet (catálogo integrado más cualquier app personalizada que hayas subido), cada una mostrada con nombre, icono y descripción.

Paso 2 – Vincular un dispositivo: Si ya tienes un dispositivo vinculado, salta al Paso 3. De lo contrario, enciende el dispositivo, conéctalo a la red y luego vincúlalo según tu hardware:

  • Dispositivo Seeed que ejecuta la imagen de fábrica de Seeed: Introduce los últimos 6 dígitos del ID de CPU o de la dirección MAC del dispositivo para vincularlo al instante.
  • Dispositivo Seeed sin la imagen de fábrica, o dispositivo de terceros: Obtén la dirección IP del dispositivo, abre una terminal y conéctate por SSH, luego ejecuta el comando de vinculación que se muestra en el flujo de vinculación.

Una vez que la vinculación se complete, el dispositivo aparecerá en tu lista de dispositivos vinculados.

Paso 3 — Seleccionar un dispositivo de destino: Elige de la lista de dispositivos vinculados compatibles con la plataforma de la app. Los dispositivos incompatibles se filtran automáticamente.

Paso 4 — Configurar la app: Rellena los elementos de configuración expuestos por el autor de la app. Consulta la sección Flujo de trabajo de configuración anterior para ver los tipos de control y valores predeterminados.

Paso 5 — Despliegue con un clic: Haz clic en Deploy. SenseCraft AI muestra un indicador de progreso en tiempo real y transmite el estado en cada fase. Si algo falla, el error exacto aparece en una ventana emergente para que puedas corregirlo y reintentarlo. Vuelve a desplegar con nuevos valores para actualizar un despliegue existente: el anterior se reemplaza automáticamente.

nota

Hoy se admiten aplicaciones Docker de una sola imagen. Docker Compose (apps de varios contenedores) está en la hoja de ruta.

Grabar firmware​

Graba un binario de firmware precompilado en un dispositivo ESP32 directamente desde el navegador, sin instalar una herramienta de grabación aparte. Usa esto cuando tu firmware ya esté compilado con todos los parámetros integrados.

Dispositivos compatibles:

Requisitos previos:​

Un único archivo .bin combinado. Si tienes binarios separados de bootloader, partición y app, combínalos antes de subirlos.

  • Arduino IDE 2.x: Solo se genera un binario combinado cuando ejecutas Sketch → Export Compiled Binary. La salida *.ino.merged.bin se escribe en una carpeta build/ junto a tu archivo .ino.
  • Arduino IDE antiguo / combinación manual: Export Compiled Binary escribe archivos .bin separados de bootloader, partición y app; combínalos con esptool.py merge_bin antes de subirlos. Consulta la guía del foro de Seeed Studio: How to export a single merged .bin file from Arduino IDE.

Flujo de trabajo de configuración​

  1. Haz clic en Upload firmware y sube tu archivo .bin.
  2. Selecciona el tipo de dispositivo en la lista desplegable.

Flujo de trabajo de despliegue​

  1. Conecta el dispositivo a tu ordenador.
  2. Haz clic en Flash firmware. El botón muestra la fase actual, con una barra de progreso y un registro de depuración debajo: conectar serie → detectar dispositivo → grabar → reiniciar.
  3. Después de que la grabación se complete, verifica el comportamiento en la ventana de vista previa.

Si algún paso falla, una ventana emergente de error explica la causa para que puedas corregirla y reintentarlo.

Node-RED​

El bloque Node-RED te ayuda a crear flujos lógicos visuales para reCamera.

Recursos oficiales​

Dispositivos compatibles​

Prepara tu flujo de trabajo​

Después de añadir el bloque Node-RED, configura el flujo de cualquiera de estas maneras:

  1. Crear nuevo flujo de trabajo: Conéctate a reCamera (por cable o de forma inalámbrica), abre su Panel de control y edita en línea.
  2. Subir archivo local: Sube un flujo JSON que ya hayas creado. El sistema valida el tipo de archivo para que pueda analizarse de forma fiable.

Seleccionar modelo de visión por IA​

Los flujos JSON no incluyen binarios de modelo. Especifica qué modelo debe usar este flujo:

  • Integrado en el dispositivo: Usa modelos preinstalados en reCamera, incluidas variantes YOLO11n para clasificación, detección, segmentación y pose.
  • Modelos públicos: Explora los modelos públicos de SenseCraft compartidos por otros para reCamera.
  • Mi modelo: Elige desde tu biblioteca privada.
precaución

Si utilizas un modelo privado en Mi modelo y publicas la app en la comunidad pública, ese modelo también se hará público. Se te pedirá confirmación antes de publicar.

Aily Blockly​

Aily Blockly es un entorno de programación visual. Con este bloque puedes grabar en un solo paso en dispositivos de borde los programas que hayas creado en Aily Blockly.

Recursos oficiales​

Dispositivos compatibles​

Vincular ID de proyecto​

Introduce el código de proyecto que apunta a tu plantilla pública de Aily Blockly.

Cómo obtener un ID de proyecto​

  1. Crea tu proyecto en Aily Blockly y luego haz clic en Build (F5) para compilar.
  2. Después de compilar correctamente, abre el panel Cloud Space y haz clic en Sync this project to cloud.
  3. Tu ID de proyecto aparece en el área etiquetada (ID: …); usa solo los números.
  4. Repite estos pasos cada vez que cambies el proyecto para que la copia en la nube se mantenga actualizada.
Cómo obtener un ID de proyecto de Aily Blockly
Loading Comments...