Skip to main content

Entrena y Despliega Tu Propio Modelo de IA

Plataforma SenseCraft AI

La Plataforma SenseCraft AI de Seeed Studio es una Solución de IA basada en navegador.

Permite a los usuarios entrenar y desplegar sin esfuerzo sus propios modelos en sus dispositivos edge, proporcionando una experiencia fluida y fácil de usar, permitiéndote entrenar y desplegar tus propios modelos directamente en tus dispositivos edge con solo unos pocos clics.

info

El núcleo de esto es un proyecto de código abierto y lo hemos compartido en GitHub y también ofrecemos el método de desarrollo.

Comenzar a Entrenar el Modelo

Primero vamos al Sitio Web de Despliegue SenseCraft AI, luego simplemente conecta el XIAO ESP32S3 Sense a tu PC mediante un cable de datos para comenzar a usar instantáneamente.

Paso 1. Instalar la placa de expansión XIAO ESP32S3 Sense

Primero, necesitamos conectar correctamente la placa de expansión XIAO ESP32S3 Sense al XIAO. Instalar la placa de expansión es muy simple, solo necesitas alinear el conector en la placa de expansión con el conector B2B en el XIAO ESP32S3, presionarlo fuerte y escuchar un "clic", la instalación está completa.

Paso 2. Conectar el XIAO a tu PC

Conecta el XIAO a tu PC usando un cable de datos con función de transferencia de datos.

Paso 3. Ir a la página de la Plataforma SenseCraft AI y conectar el XIAO

Haz clic en el botón de abajo para ir a la página principal de la Plataforma SenseCraft AI.


paso 4. Comenzar a entrenar el modelo

Después de entrar a la página principal de la plataforma SenseCraft AI, primero hacemos clic en Training, luego seleccionamos Classification Type, nombramos tus clases, y finalmente elegimos XIAO ESP32S3 Sense.

Luego, basándote en tus requisitos para clasificación, refiere a tu clase, y haz clic en Hold to Record.

Esta vez, elegí el requisito para reconocimiento de gestos para clasificar "12345."

tip

Capturar imágenes: Cada una con más de 10 imágenes estará bien, más es mejor.

Después de que la recolección de datos esté completa, seleccionamos XIAO ESP32S3 Sense en la sección Training y hacemos clic en Start Training.

Después de que el entrenamiento esté completo, podemos ver nuestros resultados de entrenamiento a través de una vista previa en tiempo real.

paso 5. Desplegar el modelo

Después de previsualizar y confirmar que el modelo entrenado está bien, seleccionamos Training Records, luego elegimos el modelo recientemente entrenado (llamado "ClassTrain" y "XIAO") y hacemos clic en Deploy to device.

Después de desplegar exitosamente al dispositivo, verás los resultados directamente:

¡Has entrenado exitosamente tu primer modelo ML!

info

Si tienes más tiempo, puedes intentar usar la operación Output que has aprendido antes.

Tareas Pendientes

  • Entrenar e implementar modelos usando la plataforma SenseCraft AI.
  • Configurar un Disparador y Controlar LED para tus modelos entrenados con la Plataforma SenseCraft AI.

(Opcional) Federar: Transmitir datos a larga distancia

En este paso, estamos intentando transmitir nuestros datos desde XIAO ESP32S3 Sense a un dispositivo remoto, usando Wi-Fi y MQTT, ayudándonos a ver su implementación de forma remota.

Paso 1. Configurar MQTT en un dispositivo y probar

Como ejemplo, estamos usando NVIDIA Jetson reComputer J4012 para ello. Soporta la instalación de broker MQTT y lo más importante es que ofrece 100 TOPS de Potencia AI, para que apliquemos LLM localmente.

La Plataforma SenseCraft AI soporta conexión Wi-Fi y MQTT.

Primero necesitamos instalar el broker MQTT(Mosquitto) y luego intentar configurar el servidor MQTT.

sudo apt-get update
sudo apt-get install mosquitto

and get the Mosquitto installation done on the reComputer(Linux).

Then run the commend:

sudo service mosquitto start

para iniciarlo.

Posteriormente podemos ejecutar este comando:

sudo service mosquitto status

para ver si ha sido activado:

image

info

Pruebas:

Para crear/suscribirse a un tema:

mosquitto_sub -h localhost -t "LED"

Para enviar/publicar algunos datos:

mosquitto_pub -h localhost -t "LED" -m "1"
mosquitto_pub -h localhost -t "LED" -m "test"

Obteniendo los resultados y parece que todo está bien:

image

Y el localhost es 192.168.66.184(como reComputer):

image

Paso 3. Configurar XIAO ESP32S3 Sense en la Plataforma SenseCraft AI

En la Plataforma SenseCraft AI, puedes consultar la página de "Configuración":

info
  • SSID: (Nombre de Wi-Fi igual que tu dispositivo MQTT)
  • Password: (Contraseña de Wi-Fi de tu dispositivo MQTT)
  • Encryption: AUTO
  • MQTT: Sí
  • Host: (Dirección IP de tu dispositivo MQTT)
  • Port: 1883

En este ejemplo, el dispositivo MQTT es el reComputer como se muestra arriba.

Paso 3. Recibir datos del XIAO ESP32S3 Sense y Mostrar

En la parte de recepción, puedes instalar un cliente con el comando:

pip install python-sscma

Este es un cliente integrado para el sscma_micro, que es un microcontrolador en servidor para los modelos SSCMA.

Y luego recibir los datos usando:

sscma.cli client --broker mqtt.broker.com --device device_id 
info

En este caso, mqtt.broker.com es 192.168.66.184, device_id proviene del XIAO ESP32S3 Sense en la Plataforma SenseCraft AI.

Paso 4. (próximamente) Federar múltiples XIAOs en una página

Paso 5. (próximamente) Habilitar LLM para observar automáticamente imágenes desde XIAO

Loading Comments...