Pular para o conteúdo principal

Começando com o reSpeaker Lite

Introdução​

pir

Adquira Agora 🖱️

Alimentada pelo chipset de áudio e som de IA XMOS XU316, esta placa de desenvolvimento se destaca no processamento de áudio com sua matriz integrada de dois microfones, ideal para reconhecimento de fala e controle por voz. Com algoritmos avançados de front-end de áudio onboard, o chip XU316 oferece cancelamento de interferência, cancelamento de eco e supressão de ruído. Ele suporta conexões I2S e USB e é compatível com Seeed Studio XIAO ESP32S3 (Sense), Adafruit QT Py, Raspberry Pi e PC.

Recursos​

  • Matriz de microfone duplo para captura de voz em campo distante: Os 2 microfones digitais de alto desempenho capturam e extraem fala e voz em campo distante (até 3 metros) mesmo em ambientes barulhentos, pois cancelam o ruído pontual usando duas entradas de microfone.
  • Algoritmos de IA ASR onboard: Alimentado pelo chip de som e áudio de IA XMOS XU-316, o kit inclui algoritmos de Compreensão de Linguagem Natural para Cancelamento de Interferência (IC), Cancelamento de Eco Acústico, Supressão de Ruído, Relação Voz-Ruído (VNR) e Controle Automático de Ganho (AGC), permitindo captura de voz de alta qualidade.
  • Aderindo ao código aberto: Esta placa é compatível com plataformas de hardware populares (XIAO ESP32S3 (Sense), Adafruit QT Py) via I2S, e compatível com Raspberry Pi, PC via USB (Audio Class 2.0 (UAC2)).
  • LED RGB onboard: a placa possui um LED RGB WS2812 programável, suportando efeitos personalizados e oferecendo uma interface visual para suas aplicações.
  • Suporte a fonte de alimentação externa: esta placa suporta fonte de alimentação externa de 5 V, que pode ser aplicada de forma flexível em diferentes cenários.
  • DFU para desenvolvimento personalizado: a placa suporta atualização de firmware personalizado via DFU-Util.

Especificação​

Chip PrincipalXMOS XU316
Microfones DigitaisMicrofones Digitais de Alto Desempenho * 2
Sensibilidade-26 dBFS
Ponto de Sobrecarga Acústica120 dBL
SNR64 dBA
Fonte de AlimentaçãoUSB 5V, 5V Externo
Dimensões35*86 mm
Saída de ÁudioConector de Alto-Falante / Conector de Fone de Ouvido 3,5 mm
Taxa Máxima de Amostragem16Khz
Alto-falanteSuporta alto-falantes amplificados de 5 W.

Visão Geral de Hardware​

pir

pir

Pin Out​

pir

1Matriz de Microfone DuploFornece entrada de áudio de alta qualidade.
2Luz Indicadora de AlimentaçãoAcende quando energizado.
3Luz RGBWS2812 programável, fornece interface visual
4Luz Indicadora de MudoAcende em vermelho quando o botão de mudo é pressionado.
5Botão USRBotão definido pelo usuário.
6Botão de MudoSilencia a entrada de áudio quando pressionado.
7XIAO ESP32S3 (opcional)Para desenvolvimento e integração adicionais.
8Processador Central XU316Responsável pelo processamento e transmissão de áudio.
9Ilha de Solda para Fonte de Alimentação ExternaSuporta fonte de alimentação externa de 5 V.
10Porta USB Tipo-CUsada para alimentação e transmissão de dados.
11Conector de Alto-FalantePara saída de áudio. Suporta alto-falantes amplificados de 5 W.
12Conector de Fone de Ouvido 3,5 mmSai o áudio; podemos conectar alto-falantes ativos ou fones de ouvido nesta porta.
13Pad de alimentação externa 1Pinos de IO não utilizados no XIAO ESP32.
14Pad de alimentação externa 2Pinos de IO não utilizados no XU316.
15JTAGPara depuração e programação do XU316.

Primeiros Passos​

Uso Fora da Caixa​

ReSpeaker Lite é uma interface de voz modular plug-and-play, sem necessidade de driver, basta conectá-lo ao seu PC e você verá um dispositivo de voz chamado 'ReSpeaker Lite'.

pir

Atualizar firmware​

Download de Firmware​

note

Existem 2 versões para a placa ReSpeaker Lite:

Para usá-la como um dispositivo de som USB, por favor grave o firmware da versão USB (firmware padrão).

pir

Para usá-la com XIAO ESP32S3, por favor grave o firmware da versão I2S.

pir

Fiação​

Conecte a placa ReSpeaker Lite ao seu PC via cabo USB.

pir

Instalar DFU Util​

dfu-util é uma ferramenta de linha de comando para atualização de firmware de dispositivo via porta USB.

  • Baixe dfu-util-0.11-binaries.tar.xz e extraia-o para o seu sistema local, por exemplo, D:\

  • Altere o diretório para o dfu-util.exe
    por exemplo, D:\dfu-util-0.11-binaries\win64(se você estiver usando win32, por favor altere win64 para win32)

  • Acrescente o caminho do dfu-util.exe à variável de ambiente de sistema Path: My Computer > Properties > Advanced > Environment Variables > Path. Observe que os caminhos na variável Path são separados por ponto e vírgula ;. Isso permitirá que o dfu-util seja executado globalmente no prompt de comando.

  • Abra o menu iniciar e digite cmd. Pressione a tecla Enter. No terminal que aparecer, verifique se o caminho do dfu-util.exe está definido com o comando dfu-util -V:

C:\Users\yiping>dfu-util -V
dfu-util 0.11

Copyright 2005-2009 Weston Schmidt, Harald Welte and OpenMoko Inc.
Copyright 2010-2021 Tormod Volden and Stefan Schmidt
This program is Free Software and has ABSOLUTELY NO WARRANTY
Please report bugs to http://sourceforge.net/p/dfu-util/tickets/
  • Execute dfu-util -l para verificar se o ReSpeaker Lite é detectado:
C:\Users\yiping>dfu-util -l
dfu-util 0.11

Copyright 2005-2009 Weston Schmidt, Harald Welte and OpenMoko Inc.
Copyright 2010-2021 Tormod Volden and Stefan Schmidt
This program is Free Software and has ABSOLUTELY NO WARRANTY
Please report bugs to http://sourceforge.net/p/dfu-util/tickets/

Found DFU: [2886:0019] ver=0205, devnum=9, cfg=1, intf=0, path="1-1.4.1", alt=2, name="DFU DATAPARTITION", serial="0000000001"
Found DFU: [2886:0019] ver=0205, devnum=9, cfg=1, intf=0, path="1-1.4.1", alt=1, name="DFU UPGRADE", serial="0000000001"
Found DFU: [2886:0019] ver=0205, devnum=9, cfg=1, intf=0, path="1-1.4.1", alt=0, name="DFU FACTORY", serial="0000000001"
dica

Se você receber um erro "Cannot open DFU device" como este, por favor continue seguindo esta etapa. Caso contrário, vá para a Etapa 3 para gravar o firmware.

C:\Users\yiping>dfu-util -l
dfu-util 0.11

Copyright 2005-2009 Weston Schmidt, Harald Welte and OpenMoko Inc.
Copyright 2010-2021 Tormod Volden and Stefan Schmidt
This program is Free Software and has ABSOLUTELY NO WARRANTY
Please report bugs to http://sourceforge.net/p/dfu-util/tickets/

Cannot open DFU device 2886:0019 found on devnum 9 (LIBUSB_ERROR_NOT_SUPPORTED)

  • Instale o Zadig e abra-o. Clique em Options -> List All Devices.

  • Encontre ReSpeaker 2 Mics Array ou ReSpeaker Lite ou DFU FACTORY (Interface 3) na lista de dispositivos, instale o driver WINUSB v6.x.xxxx.xxxxx.

pir

pir

pir

  • Após a conclusão da instalação (isso levará alguns minutos), por favor faça um power-cycle e execute dfu-util -l novamente; o ReSpeaker Lite deve ser detectado agora

Gravar Firmware​

  • Conecte a placa ReSpeaker ao seu PC.

  • Execute o seguinte comando dfu-util -R -e -a 1 -D /path/to/dfu_firmware.bin:

    • No Linux, execute sudo dfu-util -R -e -a 1 -D /path/to/dfu_firmware.bin
C:\Users\yiping>dfu-util -R -e -a 1 -D D:\Downloads\respeaker_lite_i2s_dfu_firmware_v1.0.7.bin
dfu-util 0.11

Copyright 2005-2009 Weston Schmidt, Harald Welte and OpenMoko Inc.
Copyright 2010-2021 Tormod Volden and Stefan Schmidt
This program is Free Software and has ABSOLUTELY NO WARRANTY
Please report bugs to http://sourceforge.net/p/dfu-util/tickets/

Warning: Invalid DFU suffix signature
A valid DFU suffix will be required in a future dfu-util release
Opening DFU capable USB device...
Device ID 2886:0019
Device DFU version 0101
Claiming USB DFU Interface...
Setting Alternate Interface #1 ...
Determining device status...
DFU state(2) = dfuIDLE, status(0) = No error condition is present
DFU mode device DFU version 0101
Device returned transfer size 4096
Copying data from PC to DFU device
Download        [=========================] 100%       270336 bytes
Download done.
DFU state(7) = dfuMANIFEST, status(0) = No error condition is present
DFU state(2) = dfuIDLE, status(0) = No error condition is present
Done!
Resetting USB to switch back to Run-Time mode
cuidado

Depois que a gravação for concluída, reinicie a placa.

  • Verifique a versão do firmware:
dfu-util -l

pir

Comparação​

ReSpeaker LiteReSpeaker Mic Array v2.0reSpeaker 2-Mics Pi HAT

pir

pir

pir

Chip Principal

XMOS XU316

XMOS XVF-3000

-

Microfones

Microfones PDM MEMS x2

Microfones PDM MEMS x4

Microfones analógicos MEMS x2

Distância de Captura de Voz

3m

5m

3m

Sensibilidade

-26 dBFS

-26 dBFS

-

Ponto de Sobrecarga Acústica

120 dBSPL

120 dBSPL

-

SNR

64 dB

63 dB

-

Algoritmos de Processamento de Áudio Embarcados

  • Cancelamento de Eco Acústico (AEC)
  • Controle Automático de Ganho (AGC)
  • Supressão de Ruído (NS)
  • Cancelamento de Interferência (IC)
  • Relação Voz-Ruído (VNR)
  • Cancelamento de Eco Acústico (AEC)
  • Controle Automático de Ganho (AGC)
  • Supressão de Ruído (NS)
  • Formação de Feixe (Beamforming)
  • Direção de Chegada (DoA)
  • Des-reverberação
  • Detecção de Atividade de Voz (VAD)

-

Hardware Compatível

  • XIAO ESP32S3(Sense)
  • Adafruit QT Py via I2S
  • Raspberry Pi
  • Qualquer computador ou SBC executando Linux, macOS e Windows via USB
  • Raspberry Pi
  • Qualquer computador ou SBC executando Linux, macOS e Windows via USB
Raspberry Pi SOMENTE

Perfeito para

Captação direcional de som, ideal para configurações lineares ou alongadasCaptação e localização de som omnidirecional, melhor colocado no centro de ambientes abertos e multidirecionaisCaptação direcional de som, ideal para configurações lineares ou alongadas

FAQ​

  • Não é possível encontrar o dispositivo de som ReSpeaker Lite.

Verifique a versão do firmware, certifique-se de que o firmware é versão USB e acima de2.0.5.

dfu-util -l

pir

Se não for a versão USB, siga esta etapa para gravar o firmware.

  • Não consegue detectar o dispositivo de som USB ReSpeaker Lite no Windows após gravar o firmware USB?

  • Abra o menu iniciar e digite Device manager. Encontre o dispositivo ReSpeaker Lite, clique com o botão direito nele e selecione Uninstall device. Selecione Delete the driver software for this device e clique em Uninstall. Depois disso, reinicie o dispositivo e o Windows irá reinstalar o driver de placa de som correto para ele.

pir

Recursos​

ReSpeaker Lite XMOS Firmware

ReSpeaker Lite Github

ReSpeaker Lite Arquivo 3D

Loading Comments...