IA de Voz para Varejo Inteligente
Aproveite a solução de IA de Voz para Varejo Inteligente da Seeed para capturar e analisar conversas de clientes na loja. Nossa tecnologia de IA de borda permite processamento de fala‑para‑texto em dispositivo, transformando dados de voz em insights acionáveis sem depender de serviços em nuvem. Melhore a experiência do cliente, otimize as operações da loja e obtenha feedback valioso com nossa análise de voz alimentada por IA offline, feita sob medida para ambientes de varejo.
| IA de Voz para Varejo Inteligente |
|---|
 |
IA de Voz para Varejo Inteligente
Construa um pipeline de análise de voz em loja usando dispositivos de borda e SenseCraft Voice para capturar conversas no local, executar fala‑para‑texto em dispositivo e transformar a voz do cliente em dados estruturados.
Fala‑para‑Texto em Dispositivo na Borda
SenseCraft Voice é executado diretamente em dispositivos de borda na loja para lidar com detecção de atividade de voz e reconhecimento de fala localmente. Toda a fala é processada na borda, reduzindo drasticamente a dependência de conectividade com a nuvem para geração de transcrições em tempo real.
Captação de Áudio de Longo Alcance, Pronta para Varejo
A solução foi projetada para captação de áudio de longo alcance em ambientes de varejo ruidosos. Com suporte a matrizes de microfones, beamforming e supressão de ruído, ela se concentra em conversas reais entre clientes e funcionários, mesmo com música de fundo e conversas ao redor.
Arquitetura de Borda com Prioridade à Privacidade
Como o áudio é transcrito localmente em dispositivos de borda e apenas texto mais metadados são enviados para o upstream, os varejistas podem controlar melhor os riscos de privacidade e conformidade, mantendo baixos os custos de nuvem e os requisitos de rede.
De Conversas a Decisões Baseadas em Dados
As transcrições geradas pelo SenseCraft Voice se tornam dados estruturados e analisáveis. Os varejistas podem medir a qualidade do atendimento, identificar dúvidas comuns e pontos de dor e melhorar continuamente scripts, políticas e a experiência geral na loja.
Primeiros Passos
Nesta seção, orientaremos você pelas etapas para configurar a solução de IA de Voz para Varejo Inteligente usando o reRouter da Seeed e a matriz de microfones reSpeaker XVF3800.
1. Requisitos de Hardware
Este guia usa o reRouter da Seeed e a matriz de microfones reSpeaker XVF3800 para demonstrar como construir uma solução de IA de Voz para Varejo Inteligente.
| reRouter (Computação de Borda) | reSpeaker XVF3800 (Captação de Áudio) |
|---|---|
 |  |
Função: Unidade de Processamento
| Função: Captação de Voz
|
Configuração de Hardware
1.1 Obter o Firmware do reRouter
Há duas versões do firmware OpenWrt disponíveis para o reRouter:
uma para usuários globais e outra otimizada para usuários na China Continental.
O firmware atual é baseado no OpenWrt 24.10.3 (Build r28872).
- Global
- China Continental
Consulte o guia de gravação do reRouter para instruções detalhadas sobre o procedimento de gravação.
Observe que: você deve usar o firmware fornecido acima, não o da página do guia.
1.2. Conexão de Hardware
Conecte o reRouter da seguinte forma:
- Acesso à Internet: Conecte um cabo Ethernet do seu roteador/modem à porta WAN.
- Conexão ao Host: Conecte‑se sem fio ao hotspot Wi‑Fi chamado
OpenWrt-XXXXou conecte seu computador à porta LAN via Ethernet.
- Porta WAN: Conecta‑se à internet.
- Porta LAN: Conecta‑se ao computador host para configuração.
1.3. Configuração do reSpeaker XVF3800
Conecte a matriz de microfones reSpeaker XVF3800 ao seu dispositivo host via USB para configuração.
- Linux/MacOS
- Windows
- Clone o repositório e navegue até a pasta de controle:
Dependendo do seu dispositivo, substitua <YOUR_HOST_DIR> pela pasta correspondente ao seu sistema (por exemplo, linux_x86_64, rpi_64bit, mac_arm64 ou jetson).
git clone https://github.com/respeaker/reSpeaker_XVF3800_USB_4MIC_ARRAY.git
cd reSpeaker_XVF3800_USB_4MIC_ARRAY/host_control/<YOUR_HOST_DIR>
- Execute the configuration sequence:
Conceda permissões de execução e rode os três comandos a seguir para inicializar o dispositivo (use sudo se necessário no Linux):
chmod +x ./xvf_host
# 1. Clear existing configuration
sudo ./xvf_host clear_configuration 1
# 2. Enable specific audio manager setting
sudo ./xvf_host audio_mgr_op_r 8 0
# 3. Save configuration
sudo ./xvf_host save_configuration 1
- Clone the repository and navigate to the control folder:
Abra o Prompt de Comando (cmd) ou o PowerShell e execute:
git clone https://github.com/respeaker/reSpeaker_XVF3800_USB_4MIC_ARRAY.git
cd reSpeaker_XVF3800_USB_4MIC_ARRAY\host_control\win32
- Execute the configuration sequence:
Execute os três comandos a seguir para inicializar o dispositivo:
# 1. Clear existing configuration
.\xvf_host.exe clear_configuration 1
# 2. Enable specific audio manager setting
.\xvf_host.exe audio_mgr_op_r 8 0
# 3. Save configuration
.\xvf_host.exe save_configuration 1
2. Instalação de Software
2.1. Pré-requisitos
Antes de começar, certifique-se de que as seguintes condições sejam atendidas:
- Acesso: Acesso root ao seu dispositivo OpenWrt via SSH (por exemplo,
ssh [email protected]). - Rede: O dispositivo OpenWrt tem uma conexão de internet estável.
- Áudio: O reSpeaker XVF3800 está conectado ao reRouter.
2.2 Acessando o Dispositivo
Depois que o seu computador estiver conectado ao reRouter (via LAN ou Wi‑Fi), você poderá acessar o sistema usando os seguintes padrões:
- Acesso SSH:
Por padrão, nenhuma senha é definida para o usuário root.
Você também pode usar a interface web do OpenWrt para configurar as definições de rede, incluindo conectar o reRouter à sua rede Wi‑Fi ou Ethernet para acesso à internet.
- Abra um navegador e acesse: http://192.168.49.1
- Nome de usuário: root
- Senha: (nenhuma / vazia por padrão)
Se você precisar de suporte para outros idiomas, como chinês, pode instalar o pacote luci-i18n-base-zh-cn pela interface web ou via SSH.
opkg update
opkg install luci-i18n-base-zh-cn
Antes de prosseguir para as etapas de instalação abaixo, verifique se o reRouter consegue acessar a internet (por exemplo, execute ping google.com ou ping openwrt.org no terminal SSH).
2.3 Instalação Passo a Passo
Execute os seguintes comandos sequencialmente após estabelecer uma conexão SSH com seu dispositivo OpenWrt.
Passo 1: Instalar Docker e Dependências
Esta etapa instala o ambiente de execução de contêineres e as ferramentas necessárias, incluindo o utilitário de checksum SHA‑256 para verificação de arquivos.
- Global
- Chinese Mainland
# 1. Update the local package list
opkg update
# 2. Install Docker core components
# Note: On some systems, you might need to install these separately: dockerd, docker, containerd, runc
opkg install dockerd docker containerd runc
# 3. Install utility packages
opkg install wget-ssl unzip ca-certificates
# 4. Enable and start the Docker daemon service
/etc/init.d/dockerd enable
/etc/init.d/dockerd start
# Optional: verify downloaded files
# sha256sum <filename>
# For users in Mainland China, switch to Tsinghua University mirror for faster package downloads
sed -i 's_https\?://downloads.openwrt.org_https://mirrors.tuna.tsinghua.edu.cn/openwrt_' /etc/opkg/distfeeds.conf
# 1. Update the local package list
opkg update
# 2. Install Docker core components
# Note: On some systems, you might need to install these separately: dockerd, docker, containerd, runc
opkg install dockerd docker containerd runc
# 3. Install utility packages
opkg install wget-ssl unzip ca-certificates
# 4. Enable and start the Docker daemon service
/etc/init.d/dockerd enable
/etc/init.d/dockerd start
# Optional: verify downloaded files
# sha256sum <filename>
Passo 2.2: Preparar Diretórios de Dados e Configuração
Crie os diretórios de armazenamento persistente exigidos pelos contêineres SenseCraft e baixe o arquivo de configuração padrão.
# 1. Create required application data directories
mkdir -p /data-iot/respeaker/recordings \
/data-iot/respeaker/models \
/data-iot/respeaker/voiceprints \
/data-iot/respeaker/logs
# 2. Navigate to the base directory
cd /data-iot/respeaker
# 3. Download the configuration file
wget -q -O config.yaml 'https://appstore.seeed-fleet.com/config.yaml'
Passo 2.3: Baixar e Extrair Modelos
Vamos baixar o pacote de modelo ASR pré‑treinado diretamente do servidor da Seeed Studio, verificar sua integridade usando SHA‑256 e extraí‑lo.
| File | URL |
|---|---|
models.zip | https://files.seeedstudio.com/wiki/solution/ai-sound/reRouter-firmware-backup/models.zip |
| Expected SHA-256 Hash | 7b9e7606a2ddcad56f3f72a77b16eb2c60437ae4bfc3f1423bd33db177385c9d |
Execute os seguintes comandos no host OpenWrt via SSH:
# 1. Navigate to the base directory
cd /data-iot/respeaker
# 2. Define the Model URL
MODEL_URL="https://files.seeedstudio.com/wiki/solution/ai-sound/reRouter-firmware-backup/models.zip"
# 3. Download the large model package.
# -c allows the download to resume if interrupted.
wget -O models.zip -c "$MODEL_URL"
echo "Model package download completed. Check file size is approximately 500MB."
# 4. Verify the file integrity using SHA-256 Checksum
# The result MUST match the expected hash above.
sha256sum models.zip
# 5. Extract the model package into the 'models' directory
unzip -o models.zip
# 6. Clean up the temporary ZIP file
# rm -f models.zip
# 7. Verify the model files are present
ls -l /data-iot/respeaker/models/
Passo 2.4: Configurar Permissões do Dispositivo de Áudio
O contêiner Voice Client requer acesso privilegiado aos dispositivos de áudio. Certifique‑se de que os arquivos de dispositivo tenham as permissões apropriadas.
# 1. Check for audio devices
ls -l /dev/snd/
# 2. Set read/write permissions for all users on audio device nodes
chmod -R 666 /dev/snd/*
Passo 2.5: Implantar Contêineres Docker
Defina as variáveis de imagem e inicie os três serviços necessários: sensecraft-voice-client, sensecraft-asr-server e watchtower.
# Define Image Variables
VOICE_CLIENT_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/sensecraft-voice-client:v0.0.2"
ASR_SERVER_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/sensecraft-asr-server:latest"
WATCHTOWER_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/containrrr/watchtower:latest"
# 1. Pull Images
docker pull $VOICE_CLIENT_IMAGE
docker pull $ASR_SERVER_IMAGE
docker pull $WATCHTOWER_IMAGE
# 2. Stop and remove any containers with the same names
docker rm -f sensecraft-voice-client sensecraft-asr-server watchtower
# 3. Launch sensecraft-voice-client
docker run -d --name sensecraft-voice-client \
--restart=unless-stopped \
--privileged \
--device /dev/snd \
--network host \
--group-add audio \
--group-add video \
--cap-add SYS_ADMIN \
--cap-add SYS_RAWIO \
-e TZ=Asia/Shanghai \
-e AUDIO_CARD_ID=1 \
-e AUDIO_DEVICE_ID=0 \
-v /etc/wpa_supplicant:/etc/wpa_supplicant \
-v /etc/network:/etc/network \
-v /var/run/dbus:/var/run/dbus \
-v /dev:/dev \
-v /run/udev:/run/udev:ro \
-v /proc:/proc:ro \
-v /sys:/sys:ro \
-v /data-iot/respeaker/recordings:/app/recordings \
-v /data-iot/respeaker/voiceprints:/app/voiceprints \
-v /data-iot/respeaker/logs:/app/logs \
-e WIFI_INTERFACE=wlan0 \
-e WIFI_CONFIG_PATH=/etc/wpa_supplicant \
$VOICE_CLIENT_IMAGE
# 4. Launch sensecraft-asr-server (model server)
docker run -d --network host \
-v /data-iot/respeaker/models:/app/models \
-v /data-iot/respeaker/voiceprints:/app/data \
--restart=always \
--name=sensecraft-asr-server \
$ASR_SERVER_IMAGE
# 5. Launch watchtower (for continuous container monitoring and update)
docker run -d --name watchtower \
--restart always \
-v /var/run/docker.sock:/var/run/docker.sock \
$WATCHTOWER_IMAGE \
--cleanup -i 60 sensecraft-asr-server sensecraft-voice-client
3. Verificação
Verifique o estado final da implantação.
# Check container status (All three should show Status: Up)
docker ps
# Check the voice client logs for successful initialization and audio device detection
docker logs sensecraft-voice-client
Se os logs indicarem inicialização bem‑sucedida sem erros críticos, os serviços SenseCraft terão sido implantados com sucesso.
é altamente recomendado reiniciar o dispositivo para garantir que todas as configurações, permissões e configurações de rede sejam completamente carregadas e reconhecidas pelo sistema.
reboot
Após a reinicialização, acesse http://192.168.49.1:8090 para abrir a interface do Edge Client para transcrição ASR em tempo real e configuração do dispositivo. Para uso detalhado da plataforma SenseCraft Voice, consulte a seção User Guide abaixo.
SenseCraft Voice: Visão Geral da Plataforma Edge-to-Cloud
SenseCraft Voice é uma plataforma de ponta projetada para transformar dados de áudio brutos capturados na borda (reRouter) em inteligência de negócios acionável por meio de poderosa análise de IA e gerenciamento centralizado.
A arquitetura exclusiva de borda‑nuvem da plataforma oferece confiabilidade, velocidade e profundidade analítica incomparáveis para soluções de monitoramento de áudio em nível empresarial.
| Feature | Value Proposition | Key Advantages |
|---|---|---|
| Resilient Edge Processing | Garante operação contínua e baixa latência. | ASR de voz e reconhecimento são executados localmente no reRouter, garantindo resposta em tempo real e coleta de dados mesmo durante interrupções de rede. |
| Deep AI Customization | Adapta a plataforma a necessidades de negócios e terminologias específicas. | Administradores podem definir Palavras‑chave, Sinônimos e Prompts de IA personalizados para direcionar a análise de IA e garantir detecção precisa de eventos específica à linguagem do seu negócio. |
| Granular Location Mapping | Simplifica o gerenciamento de implantações em larga escala. | Suporta organização hierárquica de milhares de dispositivos de borda por Loja, Localização e Nome do Dispositivo, indo além de endereços MAC confusos para facilitar filtragem e geração de relatórios. |
| Actionable Dashboards | Fornece insight imediato sobre o negócio e acompanhamento de desempenho. | O Dashboard centralizado oferece Filtragem Multi‑Loja, Taxa de Dispositivos Online em tempo real e Análise de Palavras‑chave em Destaque para monitorar instantaneamente o status operacional e eventos de negócios. |
A solução SenseCraft Voice é construída sobre uma robusta arquitetura de borda‑nuvem, garantindo tanto o processamento local em tempo real quanto o gerenciamento centralizado. O serviço é composto por dois componentes principais: o Cliente de Borda executado no reRouter e a Plataforma de Gerenciamento em Nuvem/Servidor.
Guia do Usuário
Acesso ao Cliente de Borda (reRouter)
O Cliente de Borda é essencial para validação em tempo real e configuração local.
- Acesso: Abra seu navegador e acesse o endereço IP do reRouter na porta 8090:
http://192.168.49.1:8090. - Função Principal: A interface fornece transcrição ASR em tempo real (para verificar a entrada de áudio), controles para Reconhecimento de Impressão Vocal (identificação do locutor) e Configuração do Dispositivo (configurações de rede, endereço do servidor upstream).
| Module Name | Description | Interface Screenshot |
|---|---|---|
| Voice ASR | Descrição: Exibe o status operacional atual do serviço local de Reconhecimento Automático de Fala (ASR). Finalidade: Fornece transcrição em tempo real da fala detectada, essencial para verificar a entrada de áudio local e a precisão do reconhecimento. |  Figura 1: Módulo Voice ASR |
| Voiceprint Recognition | Descrição: Gerencia e monitora o sistema de Reconhecimento de Impressão Vocal. Finalidade: Gera automaticamente impressões vocais exclusivas a partir de gravações de áudio para permitir diferenciação e identificação de locutores. |  Figura 2: Módulo de Reconhecimento de Impressão Vocal |
| Device Status & Configuration | Descrição: Fornece informações detalhadas sobre o status de operação do reRouter e permite alterar parâmetros principais. Finalidade: Possibilita atualizações de configuração como configurações de rede (Wi‑Fi) e alteração do endereço do servidor upstream para comunicação com a nuvem. |  Figura 3: Status e Configuração do Dispositivo |
Plataforma de Gerenciamento em Nuvem
A Plataforma em Nuvem é organizada em cinco principais áreas de navegação, oferecendo poderosas ferramentas de análise de dados e configuração de sistema.
1. Dashboard: Insights em um Relance
O Dashboard é o seu centro de comando operacional, fornecendo métricas agregadas e tendências de desempenho:
- Filtragem por Loja: Altere facilmente as visualizações selecionando uma ou mais lojas, com todos os gráficos sendo atualizados instantaneamente.
- Análise: Monitore as Tendências Diárias de Coleta (registros por hora) e a Análise de Palavras‑chave em Destaque (mostrando quais palavras‑chave são frequentemente acionadas e os respectivos Nomes de Dispositivo).
2. Gerenciamento de Registros: Auditoria e Exportação de Dados
Este módulo fornece a visualização definitiva de todos os registros de voz coletados.
- Filtragem Avançada: Use Nome do Dispositivo, Nome da Loja, Nome da Localização ou Endereço MAC para recuperação precisa de dados. As buscas são executadas somente após clicar no botão "Filter", dando controle total aos usuários.
- Capacidade de Exportação: Selecione e exporte dados filtrados em três formatos para uso externo (um de cada vez): Markdown, Texto simples (.txt) ou Arquivo de Áudio Original.
- Auditoria em Dupla Visualização: Altere facilmente entre o Modo Conversa para revisar diálogos transcritos e o Modo Linha do Tempo para ouvir a reprodução do áudio original. Essa abordagem dupla permite verificação rápida da precisão da transcrição e uma compreensão mais profunda do contexto da interação.
- Clareza: Todas as visualizações de registros priorizam o facilmente identificável Nome do Dispositivo em vez do endereço MAC.
3. Análise de IA: Processamento Histórico e Personalizado
Esta área lida com o envio de registros de fala para processamento avançado pelo mecanismo de IA.
- Sessões Históricas: Revise suas interações passadas com o mecanismo de análise de IA. A janela de histórico exibe as conversas em ordem cronológica, e clicar em uma sessão carrega imediatamente o histórico de conversas anterior para revisão.
- Processamento: Envie registros filtrados para processamento de IA com base no AI Prompt atualmente selecionado.
4. Gerenciamento de Lojas: Hierarquia de Dispositivos e Localizações
Esta área fornece as ferramentas necessárias para configurar e manter a hierarquia organizacional de todos os dispositivos de borda.
- Visualização Hierárquica: Gerencie facilmente as lojas, suas localizações específicas dentro da loja e os dispositivos reRouter associados.
- Controle Centralizado: Otimize a implantação e a configuração de dispositivos agrupando‑os de forma lógica.
5. Configuração de Backend: Controle e Personalização do Sistema
Esta seção permite que administradores definam parâmetros de sistema para processamento de IA e acionamento de eventos.
5.1. Configurações de Palavras‑chave
Defina palavras‑chave e sinônimos personalizados para identificar eventos de negócios específicos nas gravações.
- Personalização: Defina Palavras‑chave e seus Sinônimos para detecção de eventos.
- Visualização: Atribua uma Cor de Marcação para distinção visual no Dashboard.
- Gerenciamento: Oferece suporte a Adicionar, Editar, Excluir e Exclusão em Lote.
5.3. Gerenciamento de Usuários
O módulo de Gerenciamento de Usuários controla o acesso e as permissões da plataforma.
5.2. Configurações de AI Prompt
Crie e gerencie AI Prompts personalizados para definir como a IA processa os registros de voz selecionados.
- Controle: Defina Nome, Tags e Conteúdo do prompt. Apenas um prompt Ativado fica ativo para uso por vez.
- Gerenciamento: Oferece suporte a Adicionar, Editar, Excluir e Exclusão em Lote.
