Saltar al contenido principal

SenseCraft AI con reSpeaker XVF3800

Introducción​

SenseCraft AI es la plataforma de IA sin código/bajo código de Seeed Studio que simplifica la implementación de modelos de inteligencia artificial preentrenados en dispositivos perimetrales como el reSpeaker XVF3800. Esta guía se centra en configurar el reSpeaker XVF3800 para la detección de palabra de activación utilizando el disparador personalizado "Lumio", lo que permite el control activado por voz para tus proyectos sin escribir código complejo. Con SenseCraft AI, puedes probar, previsualizar e integrar rápidamente eventos de palabra de activación en tus flujos de trabajo de hardware. La plataforma también te permite crear y cargar tus propios modelos personalizados para detectar eventos de sonido específicos y palabras de activación personalizadas, brindándote total flexibilidad para adaptar las interacciones por voz a las necesidades únicas de tu aplicación.

pir

Consigue uno ahora 🖱️

Implementar un modelo existente​

Paso 1: Actualizar el firmware del dispositivo​

Antes de implementar el modelo de palabra de activación, asegúrate de que tu reSpeaker XVF3800 esté ejecutando la versión de firmware correcta.

El archivo de firmware requerido es:

respeaker_xvf3800_i2s_master_dfu_firmware_v1.0.7_48k_test5.bin

Sigue el procedimiento estándar de DFU (Actualización de Firmware del Dispositivo) de tu dispositivo para flashear este archivo en el reSpeaker XVF3800.

Paso 2: Navegar a la plataforma SenseCraft AI​

Abre tu navegador web y ve a:

https://sensecraft.seeed.cc/

Paso 3: Acceder a la sección de entrenamiento​

Desde el menú de navegación principal:

  1. Haz clic en Products
  2. Selecciona SenseCraft AI
  3. Elige Training AI Models

Paso 4: Abrir tu espacio de trabajo​

  1. Navega a tu Workspace

pir

  1. Verifica que el espacio de trabajo esté configurado en reSpeaker como el tipo de dispositivo activo
  2. Selecciona reSpeaker de la lista de dispositivos
  3. Haz clic en el botón Connect para establecer una conexión con tu dispositivo

pir

Paso 5: Reemplazar el modelo en ejecución​

Una vez conectado, reemplazarás el modelo existente en el dispositivo:

  1. Localiza la sección Model bajo "Replace the device running model"
  2. Haz clic en Select Model

pir

  1. Elige Keyword Spotting- Lumos Keyword recognition de entre las opciones disponibles

pir

nota

El modelo que estás implementando se llama Lumos. Es un modelo ligero de reconocimiento de voz diseñado para proporcionar capacidades de interacción por voz eficientes y de baja latencia para dispositivos perimetrales. Al analizar las características espectrales del audio, el modelo puede detectar con precisión la palabra de activación específica "Lumos" incluso en medio de un ruido de fondo ambiental complejo.

Paso 6: Confirmar la implementación del modelo​

  1. Aparecerá un cuadro de diálogo con los detalles del modelo
  2. Haz clic en Confirm para continuar flasheando el modelo en tu dispositivo
  3. Espera un momento mientras el modelo se flashea en el reSpeaker XVF3800

pir

Paso 8: Probar la detección de la palabra de activación​

Después de una implementación exitosa, verás:

  • Visualización del espectro de audio: muestra la entrada de sonido en tiempo real
  • Dos clases de detección:
    • Background Noise
    • Lumos

Para probar la palabra de activación:

  1. Pronuncia claramente la palabra "Lumos" en el micrófono del reSpeaker
  2. Observa cómo aumenta el nivel de confianza para la clase Lumos
  3. Ajusta el parámetro de umbral según sea necesario para afinar la sensibilidad de detección

pir

Entrenar e implementar tu propio clasificador de audio​

Paso 1: Abrir la pestaña de entrenamiento​

  1. Navega a https://sensecraft.seeed.cc/
  2. Desde el menú principal, ve a Products → SenseCraft AI → Training AI Models
  3. Haz clic en la pestaña Training para acceder a la interfaz de clasificación de audio

pir

Paso 2: Conectar tu dispositivo reSpeaker​

En Audio Classification / Detection:

  1. Verifica que reSpeaker Microphone esté seleccionado como dispositivo de entrada
  2. Haz clic en el botón Connect para establecer una conexión
  3. Espera a que la plataforma confirme la conexión exitosa

pir

Paso 3: Recopilar datos de ruido de fondo​

Antes de entrenar sonidos personalizados, debes establecer una línea base para el ruido ambiental normal.

  1. Pulsa Collect Training Data for Background Noise

pir

  1. La plataforma grabará automáticamente durante aproximadamente 20 segundos
  2. La grabación se dividirá en muestras de 1 segundo
  3. Una vez completado, aparecerá una vista previa de las muestras de datos de fondo
  4. Revisa las muestras y pulsa Apply cuando estés satisfecho

pir

Paso 4: Crear una clase de sonido personalizada​

Ahora añadirás una nueva clase para el sonido específico que quieres que el modelo detecte.

4.1 Nombra tu clase

  1. Haz clic en Add New Class
  2. Introduce el nombre de la clase: Grassbreaking
  3. Pulsa Create o confirma la nueva clase

pir

4.2 Recopilar datos de entrenamiento para la clase personalizada

  1. Selecciona la clase Grassbreaking
  2. Pulsa Collect Training Data
  3. La plataforma grabará durante aproximadamente 2 segundos
  4. La grabación se dividirá en muestras de 1 segundo

4.3 Revisar y aplicar las muestras

  1. Después de la recopilación, aparecerá una vista previa de las 2 muestras
  2. Escucha o revisa las muestras
  3. Pulsa Apply cuando estés satisfecho con la calidad

pir

4.4 Repetir para más muestras

Para lograr una detección fiable, repite el proceso de recopilación de datos hasta que hayas recopilado al menos 8 muestras para la clase Grassbreaking.

Consejos para obtener buenas muestras:

  • Varía la intensidad del sonido de rotura de hierba
  • Recopila muestras desde posiciones o ángulos ligeramente diferentes
  • Asegúrate de que el sonido sea claramente audible por encima del ruido de fondo

Paso 5: Entrenar el modelo​

Una vez que hayas recopilado suficientes datos, es momento de entrenar el modelo.

5.1 Navegar al paso de entrenamiento​

Ve a Step 2: Training en la interfaz.

5.2 Confirmar la selección del dispositivo​

Verifica que reSpeaker esté seleccionado como el dispositivo de destino para el entrenamiento.

5.3 Iniciar el entrenamiento​

  1. Pulsa el botón Train
  2. Espera unos minutos a que se complete el proceso de entrenamiento
  3. No cierres el navegador ni desconectes el dispositivo durante el entrenamiento

pir

5.4 Revisar los resultados del entrenamiento​

Después de que finalice el entrenamiento, tus clases entrenadas aparecerán con:

  • Barras de probabilidad animadas que muestran los niveles de confianza
  • Predicciones en tiempo real basadas en la entrada de audio en vivo

pir

Paso 6: Implementar el modelo en reSpeaker​

6.1 Ir al paso de implementación

Navega a Step 3: Deploy en la interfaz.

6.2 Implementar el modelo

  1. Haz clic en el botón Deploy para enviar el modelo a tu dispositivo

pir

  1. Aparecerá un cuadro de diálogo de confirmación
  2. Confirma la implementación para enviar el modelo TFLM (TensorFlow Lite Micro) al XIAO ESP32-S3 del reSpeaker

pir

6.3 Esperar a la finalización

El proceso de implementación puede tardar un momento. Espera el mensaje de confirmación que indica una implementación exitosa.

Paso 7: Supervisar la detección en tiempo real​

Después de una implementación exitosa:

  1. La interfaz mostrará barras de confianza animadas para cada clase detectada
  2. Habla o produce el sonido de rotura de hierba para probar la detección
  3. Observa cómo aumenta el nivel de confianza para la clase Grassbreaking
  4. Observa cómo disminuye la confianza de Background Noise cuando se detecta el sonido personalizado

pir

Soporte técnico y debate sobre productos​

Gracias por elegir nuestros productos. Estamos aquí para ofrecerte diferentes tipos de soporte y garantizar que tu experiencia con nuestros productos sea lo más fluida posible. Ofrecemos varios canales de comunicación para adaptarnos a distintas preferencias y necesidades.

Loading Comments...