IA de Voz para Retail Inteligente

Aprovecha la solución de IA de Voz para Retail Inteligente de Seeed para capturar y analizar conversaciones de clientes en tienda. Nuestra tecnología de IA de borde permite el procesamiento de voz a texto en el dispositivo, transformando datos de voz en insights accionables sin depender de servicios en la nube. Mejora la experiencia del cliente, optimiza las operaciones de la tienda y obtén retroalimentación valiosa con nuestro análisis de voz impulsado por IA offline diseñado para entornos de retail.

IA de Voz para Retail Inteligente
Paquete de Solución 🖱️

IA de Voz para Retail Inteligente

Construye un pipeline de análisis de voz en tienda usando dispositivos de borde y SenseCraft Voice para capturar conversaciones en el sitio, ejecutar conversión de voz a texto en el dispositivo y convertir la voz del cliente en datos estructurados.

• Conversión de Voz a Texto en el Dispositivo en el Borde

  SenseCraft Voice se ejecuta directamente en dispositivos de borde en tienda para manejar la detección de actividad de voz y reconocimiento de voz localmente. Todo el habla se procesa en el borde, reduciendo dramáticamente la dependencia de conectividad en la nube para la generación de transcripciones en tiempo real.

• Captura de Audio de Campo Lejano, Lista para Retail

  La solución está diseñada para captura de audio de campo lejano en entornos de retail ruidosos. Con soporte para arreglos de micrófonos, formación de haces y supresión de ruido, se enfoca en conversaciones reales entre clientes y personal incluso con música de fondo y charla circundante.

• Arquitectura de Borde con Privacidad Primero

  Debido a que el audio se transcribe localmente en dispositivos de borde y solo se envían texto más metadatos hacia arriba, los retailers pueden controlar mejor los riesgos de privacidad y cumplimiento, mientras mantienen bajos los costos de nube y los requisitos de red.

• De Conversaciones a Decisiones Basadas en Datos

  Las transcripciones generadas por SenseCraft Voice se convierten en datos estructurados y analizables. Los retailers pueden medir la calidad del servicio, identificar preguntas comunes y puntos de dolor, y mejorar continuamente guiones, políticas y la experiencia general de la tienda.

Introducción

En esta sección, te guiaremos a través de los pasos para configurar la solución de IA de Voz para Retail Inteligente usando el reRouter de Seeed y el arreglo de micrófonos reSpeaker XVF3800.

1. Requisitos de Hardware

Esta guía utiliza el reRouter de Seeed y el arreglo de micrófonos reSpeaker XVF3800 para demostrar cómo construir una solución de IA de Voz para Retail Inteligente.

reRouter (Computación de Borde)	reSpeaker XVF3800 (Captura de Audio)
Rol: Unidad de Procesamiento Especificaciones Técnicas: CPU: Procesador Quad-Core RAM: 4GB (Requisito Mínimo) Almacenamiento: 32GB eMMC SO: OpenWrt 24.10.3 (Build r28872) *Nota: El rendimiento por debajo de estas especificaciones no ha sido validado.	Rol: Captura de Voz Especificaciones Técnicas: Modelo: Arreglo de 4 Micrófonos XVF3800 Firmware: v2.0.5 Configuración: 1 Canal (Audio Procesado) Características: Supresión de Ruido, AEC, Formación de Haces

Configuración de Hardware

---

1.1 Obtener Firmware del reRouter

Hay dos versiones del firmware OpenWrt disponibles para reRouter:
una para usuarios globales, y otra optimizada para usuarios en China Continental.

El firmware actual está basado en OpenWrt 24.10.3 (Build r28872).

Global

Obtener el firmware🖱️

China Continental

China Continental🖱️

Puede que necesites un puente para poner el dispositivo en modo de flasheo.

Por favor consulta la guía de flasheo del reRouter para instrucciones detalladas.

1.2. Conexión de Hardware

Por favor conecta el reRouter de la siguiente manera:

• Acceso a Internet: Conecta un cable Ethernet desde tu router/módem al puerto WAN.
• Conexión del Host: Conéctate de forma inalámbrica al hotspot Wi-Fi llamado OpenWrt-XXXX o conecta tu computadora al puerto LAN vía Ethernet.

• Puerto WAN: Se conecta a internet.
• Puerto LAN: Se conecta a tu computadora host para configuración.

1.3. Configuración del reSpeaker XVF3800

Conecta el arreglo de micrófonos reSpeaker XVF3800 a tu dispositivo host vía USB para configurar.

Linux/MacOS

1. Clona el repositorio y navega a la carpeta de control:

Dependiendo de tu dispositivo, reemplaza <YOUR_HOST_DIR> con la carpeta que coincida con tu sistema (ej., linux_x86_64, rpi_64bit, mac_arm64, o jetson).

git clone https://github.com/respeaker/reSpeaker_XVF3800_USB_4MIC_ARRAY.git
cd reSpeaker_XVF3800_USB_4MIC_ARRAY/host_control/<YOUR_HOST_DIR>

2. Ejecutar la secuencia de configuración:

Otorga permisos de ejecución y ejecuta los siguientes tres comandos para inicializar el dispositivo (usa sudo si es necesario en Linux):

chmod +x ./xvf_host

# 1. Clear existing configuration
sudo ./xvf_host clear_configuration 1

# 2. Enable specific audio manager setting
sudo ./xvf_host audio_mgr_op_r 8 0

# 3. Save configuration
sudo ./xvf_host save_configuration 1

Windows

1. Clonar el repositorio y navegar a la carpeta de control:

Abre el Símbolo del sistema (cmd) o PowerShell y ejecuta:

git clone https://github.com/respeaker/reSpeaker_XVF3800_USB_4MIC_ARRAY.git
cd reSpeaker_XVF3800_USB_4MIC_ARRAY\host_control\win32

2. Ejecutar la secuencia de configuración:

Ejecuta los siguientes tres comandos para inicializar el dispositivo:

# 1. Clear existing configuration
.\xvf_host.exe clear_configuration 1

# 2. Enable specific audio manager setting
.\xvf_host.exe audio_mgr_op_r 8 0

# 3. Save configuration
.\xvf_host.exe save_configuration 1

2. Instalación de Software

2.1. Prerrequisitos

Antes de comenzar, asegúrate de que se cumplan las siguientes condiciones:

• Acceso: Acceso root a tu dispositivo OpenWrt vía SSH (ej., ssh [email protected]).
• Red: El dispositivo OpenWrt tiene una conexión estable a internet.
• Audio: El reSpeaker XVF3800 está conectado al reRouter.

2.2 Accediendo al Dispositivo

Una vez que tu computadora esté conectada al reRouter (vía LAN o Wi-Fi), puedes acceder al sistema usando los siguientes valores predeterminados:

• Acceso SSH:

ssh [email protected]

Por defecto, no se establece contraseña para el usuario root.

Nota

También puedes usar la interfaz web de OpenWrt para configurar los ajustes de red, incluyendo conectar el reRouter a tu red Wi-Fi o Ethernet para acceso a internet.

• Abre un navegador y visita: http://192.168.49.1
• Usuario: root
• Contraseña: (ninguna / vacía por defecto)

Importante

Antes de proceder con los pasos de instalación a continuación, por favor verifica que el reRouter pueda acceder a internet (por ejemplo, ejecuta ping google.com o ping openwrt.org en el terminal SSH).

2.3 Instalación Paso a Paso

Ejecuta los siguientes comandos secuencialmente después de establecer una conexión SSH a tu dispositivo OpenWrt.

Paso 1: Instalar Docker y Dependencias

Este paso instala el entorno de ejecución de contenedores y las herramientas necesarias, incluyendo la utilidad de suma de verificación SHA-256 para verificación de archivos.

# 1. Update the local package list
opkg update

# 2. Install Docker core components
# Note: On some systems, you might need to install these separately: dockerd, docker, containerd, runc
opkg install dockerd docker containerd runc

# 3. Install utility packages
opkg install wget-ssl unzip ca-certificates

# 4. Enable and start the Docker daemon service
/etc/init.d/dockerd enable
/etc/init.d/dockerd start

# 5. Wait for Docker to initialize (approx. 15-30 seconds)
echo "Waiting for Docker service to start..."
sleep 15 
docker ps # Verify the service is running

Paso 2.2: Preparar Directorios de Datos y Configuración

Crea los directorios de almacenamiento persistente requeridos por los contenedores SenseCraft y descarga el archivo de configuración predeterminado.

# 1. Create required application data directories
mkdir -p /data-iot/respeaker/recordings \
         /data-iot/respeaker/models \
         /data-iot/respeaker/voiceprints \
         /data-iot/respeaker/logs

# 2. Navigate to the base directory
cd /data-iot/respeaker

# 3. Download the configuration file
wget -q -O config.yaml 'https://appstore.seeed-fleet.com/config.yaml'

Paso 2.3: Descargar y Extraer Modelos

Descargaremos el paquete de modelo ASR preentrenado (aproximadamente 480) directamente desde el servidor de Seeed Studio, verificaremos su integridad usando SHA-256, y lo extraeremos.

Archivo	URL
models.zip	https://files.seeedstudio.com/wiki/solution/ai-sound/reRouter-firmware-backup/models.zip
Hash SHA-256 Esperado	7b9e7606a2ddcad56f3f72a77b16eb2c60437ae4bfc3f1423bd33db177385c9d

Ejecuta los siguientes comandos en el host OpenWrt vía SSH:

# 1. Navigate to the base directory
cd /data-iot/respeaker

# 2. Define the Model URL
MODEL_URL="https://files.seeedstudio.com/wiki/solution/ai-sound/reRouter-firmware-backup/models.zip"

# 3. Download the large model package. 
# -c allows the download to resume if interrupted.
wget -O models.zip -c "$MODEL_URL"
echo "Model package download completed. Check file size is approximately 500MB."

# 4. Verify the file integrity using SHA-256 Checksum
# The result MUST match the expected hash above.
echo "Verifying file checksum..."
shasum -a 256 models.zip

# 5. Extract the model package into the 'models' directory
unzip -o models.zip

# 6. Clean up the temporary ZIP file
rm -f models.zip

# 7. Verify the model files are present
ls -l /data-iot/respeaker/models/

Paso 2.4: Configurar Permisos del Dispositivo de Audio

El contenedor Voice Client requiere acceso privilegiado a los dispositivos de audio. Asegúrate de que los archivos del dispositivo tengan los permisos apropiados.

# 1. Check for audio devices
ls -l /dev/snd/

# 2. Set read/write permissions for all users on audio device nodes
chmod -R 666 /dev/snd/*

Paso 2.5: Desplegar Contenedores Docker

Define las variables de imagen y lanza los tres servicios requeridos: sensecraft-voice-client, sensecraft-asr-server, y watchtower.

# Define Image Variables
VOICE_CLIENT_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/sensecraft-voice-client:v0.0.2"
ASR_SERVER_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/sensecraft-asr-server:latest"
WATCHTOWER_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/containrrr/watchtower:latest"

# 1. Pull Images
docker pull $VOICE_CLIENT_IMAGE
docker pull $ASR_SERVER_IMAGE
docker pull $WATCHTOWER_IMAGE

# 2. Stop and remove any containers with the same names
docker rm -f sensecraft-voice-client sensecraft-asr-server watchtower

# 3. Launch sensecraft-voice-client 
docker run -d --name sensecraft-voice-client \
    --restart=unless-stopped \
    --privileged \
    --device /dev/snd \
    --network host \
    --group-add audio \
    --group-add video \
    --cap-add SYS_ADMIN \
    --cap-add SYS_RAWIO \
    -e TZ=Asia/Shanghai \
    -e AUDIO_CARD_ID=1 \
    -e AUDIO_DEVICE_ID=0 \
    -v /etc/wpa_supplicant:/etc/wpa_supplicant \
    -v /etc/network:/etc/network \
    -v /var/run/dbus:/var/run/dbus \
    -v /dev:/dev \
    -v /run/udev:/run/udev:ro \
    -v /proc:/proc:ro \
    -v /sys:/sys:ro \
    -v /data-iot/respeaker/recordings:/app/recordings \
    -v /data-iot/respeaker/voiceprints:/app/voiceprints \
    -v /data-iot/respeaker/logs:/app/logs \
    -e WIFI_INTERFACE=wlan0 \
    -e WIFI_CONFIG_PATH=/etc/wpa_supplicant \
    $VOICE_CLIENT_IMAGE

# 4. Launch sensecraft-asr-server (model server)
docker run -d --network host \
    -v /data-iot/respeaker/models:/app/models \
    -v /data-iot/respeaker/voiceprints:/app/data \
    --restart=always \
    --name=sensecraft-asr-server \
    $ASR_SERVER_IMAGE

# 5. Launch watchtower (for continuous container monitoring and update)
docker run -d --name watchtower \
    --restart always \
    -v /var/run/docker.sock:/var/run/docker.sock \
    $WATCHTOWER_IMAGE \
    --cleanup -i 60 sensecraft-asr-server sensecraft-voice-client

✅ 3. Verificación

Verifica el estado final del despliegue.

# Check container status (All three should show Status: Up)
docker ps

# Check the voice client logs for successful initialization and audio device detection
docker logs sensecraft-voice-client

Si los logs indican un inicio exitoso sin errores críticos, los servicios SenseCraft se han desplegado exitosamente.

Acceder al Servicio SenseCraft Voice

El SenseCraft Voice Client expone una interfaz web en el puerto 8090 de la dirección IP del reRouter. Puedes acceder a ella vía un navegador web en:

http://<reRouter_IP_Address>:8090