Saltar al contenido principal

Espacio de trabajo Grove Vision AI v2 en la plataforma SenseCraft AI

Introducción​

Conectar Grove-Vision AI v2​

  1. Conecta Grove - Vision AI V2 a la cámara mediante el cable de conexión CSI.

  1. Conecta Grove - Vision AI V2 a tu ordenador mediante USB y selecciona la unidad de depuración USB Single/serial para conectarte.
nota

Utiliza Chrome, Opera o Edge para desplegar modelos de IA en XIAO ESP32S3 Sense y Grove Vision AI v2.

  1. Una vez conectado al dispositivo, leerá la información del dispositivo, la información del modelo y ejecutará el modelo para la inferencia. Los usuarios pueden ajustar la configuración de Confidence e IoU para afinar la precisión de la inferencia del modelo.
  • Confidence: Confidence se refiere al nivel de certeza o probabilidad asignado por un modelo a sus predicciones
  • IoU: IoU se utiliza para evaluar la precisión de los cuadros delimitadores predichos en comparación con los cuadros delimitadores reales

Reemplazar modelo de IA​

Si necesitas reemplazar el modelo que se está ejecutando actualmente en el dispositivo, la plataforma SenseCrfat AI ofrece dos formas de hacerlo

  1. Seleccionar un modelo de acceso público en la plataforma SenseCraft AI o un modelo bajo la cuenta del usuario para reemplazarlo.

  1. Subir directamente un modelo para reemplazo.
  • Model Name: introduce un nombre
  • Model File: sube un modelo en formato tflite
  • ID Object: clase de reconocimiento del modelo

Configuración​

Si necesitas enviar los resultados de inferencia desde el dispositivo a tu propio servicio MQTT o a la plataforma Sensecraft Data, configura Wi-Fi y MQTT. A continuación, usaremos la plataforma Sensecraft Data como ejemplo.

  1. Introduce una red Wi-Fi de 2,4G válida.
  2. Accede a la plataforma SenseCraft Data e inicia sesión.
nota

Puedes usar la misma cuenta para iniciar sesión tanto en Sensecraft AI como en la plataforma Sensecraft Data.

  1. Accede a la página Development Kit y haz clic en el botón "Create Development Kit".
  2. Introduce el nombre del dispositivo y selecciona "Grove-Vision AI v2" como tipo de dispositivo.

  1. Una vez creado el dispositivo, haz clic en "connect" y luego copia y pega secuencialmente el Host, Port, clientId, Username y Password.

  1. Después de completar el formulario, haz clic en el botón Save. Una vez que el dispositivo haya aplicado correctamente los cambios, ve a la página Process. Verás la dirección IP y el estado del servicio: MQTT connected.

  1. Ahora puedes volver a la página Development Kit de la plataforma Sensecraft Data. Haz clic en el EUI del dispositivo para entrar en los detalles del dispositivo, donde podrás ver los resultados de la inferencia.

Salida​

Configura una condición para que, cuando el objetivo detectado cumpla los criterios, se encienda el LED amarillo del XIAO ESP32S3.

Ejemplo: si el dispositivo detecta Face y la confianza es mayor que 43, entonces enciende el LED amarillo del dispositivo

Entrenar​

SenseCraft AI integra YoLo-World para generar rápidamente modelos de IA de una sola clase basados en la clase de entrada del usuario, que pueden desplegarse directamente en dispositivos Grove-Vision AI v2.

Generación rápida​

  1. Introduce la clase, haz clic en el botón Quick Generate y espera a que se genere el modelo.

  1. Después de que se genere el modelo, puedes seleccionarlo y hacer clic en el botón Deploy to device para flashear el modelo generado en el dispositivo.

  1. Ver el resultado de la inferencia

Capturar para entrenar​

El modelo generado rápidamente puede no tener una alta precisión. Puedes hacer clic en Capture to Train para tomar y recopilar imágenes del objetivo. Envía las imágenes recopiladas a Yolo-World para un entrenamiento optimizado. El modelo optimizado tendrá una mejor precisión.

  1. Usa la cámara Grove-Vision AI v2 para apuntar al objetivo y haz clic en el botón Capture para recopilar imágenes.

  1. Selecciona y confirma el objetivo en las imágenes capturadas.

  1. Repite los pasos 1-2 para recopilar al menos 10 fotos para el entrenamiento. Después de recopilar las imágenes, haz clic en el botón Train Model.

  1. Una vez que se genere el modelo, selecciona el modelo recién generado, despliega el modelo en el dispositivo y comprueba los resultados de la inferencia.

Soporte técnico​

¿Necesitas ayuda con tu SenseCAP Indicator? ¡Estamos aquí para ayudarte!

Loading Comments...