Muse Gadget no reSpeaker XVF3800
Introdução
Este projeto transforma o array de 4 microfones reSpeaker XVF3800 e um XIAO ESP32-S3 em um Muse Gadget. O gadget faz pareamento com o app Muse no telefone via BLE, entra na sua rede Wi‑Fi e mantém uma sessão Noise criptografada com sua VM Muse na nuvem.
- Segure o botão: grave uma nota de voz. O Muse a transcreve e responde; a resposta é exibida no app e falada no alto-falante via TTS.
- Toque (menos de 1 s): inicie uma chamada de voz ao vivo (se
MUSE_REALTIME_VOICEestiver ativado). - Toque novamente: desligue.
Em resumo, o caminho dos dados é assim:
XIAO ESP32-S3 ──BLE──> Muse app (pairing)
│
└──Wi-Fi──> encrypted Noise session ──> Muse VM
│
├── /link-control : device.health, voice.configure, …
└── /chat/stream : voice note → transcript → reply
O XIAO é o mestre I2S; o XVF3800 roda o firmware I2S slave 16 kHz e controla seu anel de 12 LEDs e o amplificador.

O que você precisa
- Token do SDK do Muse (
mgst_…) - Chave AssemblyAI opcional para respostas faladas
- App Muse no telefone, modo Desenvolvedor ativado
- ESP-IDF v6.0.3 instalado
- XVF3800 com o firmware I2S slave 16 kHz
- Alto-falante 5 W com conector JST (ou fones de ouvido 3,5 mm)
- Credenciais de Wi‑Fi 2,4 GHz
- Cabo USB‑C de dados
Contas e chaves de API
| Chave / credencial | Obrigatório? | Onde obter | Onde é usada |
|---|---|---|---|
Token do Muse SDK (mgst_…, 48 caracteres) | Sim | gadgets.muse.ai | CONFIG_GADGET_SDK_TOKEN no sdkconfig de build |
| Chave AssemblyAI (32 caracteres) | Opcional — respostas faladas | assemblyai.com | CONFIG_MUSE_TTS_API_KEY no sdkconfig de build |
Chave Groq (gsk_…) | TTS alternativo | console.groq.com | Mesmo campo, com a URL/modelo da Groq |
| SSID + senha do Wi‑Fi | Sim | Sua rede/hotspot 2,4 GHz | App Muse durante o pareamento |
Configurações do provedor de TTS
O provedor padrão é o AssemblyAI:
CONFIG_MUSE_TTS_ENABLE=y
CONFIG_MUSE_TTS_URL="https://tts.us.assemblyai.com/v1/openai/audio/speech"
CONFIG_MUSE_TTS_MODEL="assemblyai-tts-en"
CONFIG_MUSE_TTS_VOICE="alloy"
CONFIG_MUSE_TTS_RESPONSE_FORMAT="mp3"
CONFIG_MUSE_TTS_MAX_CHARS=800
CONFIG_MUSE_TTS_TIMEOUT_MS=15000
CONFIG_MUSE_TTS_API_KEY="YOUR_ASSEMBLYAI_KEY"
Groq (Orpheus, limite de 200 caracteres de entrada) é uma alternativa:
CONFIG_MUSE_TTS_URL="https://api.groq.com/openai/v1/audio/speech"
CONFIG_MUSE_TTS_MODEL="canopylabs/orpheus-v1-english"
CONFIG_MUSE_TTS_VOICE="hannah"
CONFIG_MUSE_TTS_RESPONSE_FORMAT="wav"
CONFIG_MUSE_TTS_MAX_CHARS=200
CONFIG_MUSE_TTS_API_KEY="gsk_..."
O app no telefone não tem configuração de provedor de TTS; o TTS é totalmente no lado do firmware.
Configuração do app no telefone
- Instale o app Muse (Meta) em Android ou iOS.
- Faça login com sua conta Muse.
- Ative Settings → Devices → Developer mode.
- O Muse foi lançado nos EUA e Canadá; a conta/app é necessária para o pareamento e para exibir o texto da resposta.
- O app mostra as respostas como texto; o gadget as fala se o TTS estiver configurado.
Botão externo opcional (Grove Button)
Você pode adicionar um Grove Button para push-to-talk: VCC → D3, SIG → D0, GND → GND.
| Grove Button | XIAO | GPIO |
|---|---|---|
| GND | GND | — |
| VCC | D3 | 4 (forçado em nível alto) |
| SIG | D0 | 1 (entrada, ativo em nível alto) |
| NC | — | — |
As configurações de firmware já estão no overlay:
CONFIG_HOMEHUB_BUTTON_GPIO=1
CONFIG_HOMEHUB_BUTTON_POWER_GPIO=4
CONFIG_HOMEHUB_BUTTON_ACTIVE_HIGH=y
CONFIG_HOMEHUB_BUTTON_LABEL="TALK"
O Grove Button é ativo em nível alto; o firmware coloca o GPIO4 em nível alto para alimentá-lo e lê o GPIO1 com pull-down.
Grave o firmware XMOS I2S
O XIAO é o mestre I2S, então o XVF3800 deve rodar o firmware I2S slave 16 kHz. O firmware USB não funciona com o XIAO.
Grave a imagem respeaker_xvf3800_i2s_slave_v1.0.9_16k.bin seguindo o guia oficial de atualização de firmware:
Selecione
respeaker_xvf3800_i2s_slave_v1.0.9_16k.bin(I2S slave, 16 kHz) — não o firmware USB padrão.
Verificar
O firmware do Muse registra:
link.xvf3800: XVF3800 firmware 1.0.9; 16 kHz I2S slave, ESP32 is master
Ou execute:
xvf_host VERSION
Clone o projeto
Clone o fork mantido. Ele é baseado no SDK upstream e já contém a porta para o XVF3800 e a integração de TTS:
git clone https://github.com/KasunThushara/muse-gadget-sdk.git
cd muse-gadget-sdk
A porta
seeed-respeaker-xvf3800não está upstream emfacebookincubator/muse-gadget-sdk. Se você usar o upstream, precisará aplicar você mesmo as adições abaixo.
Arquivos adicionados pelo fork:
esp32/devices/sdkconfig.seeed-respeaker-xvf3800
esp32/main/voice_board_xvf3800.c
esp32/main/xvf3800.c
esp32/main/xvf3800.h
Arquivos alterados pelo fork:
esp32/main/Kconfig.projbuild (HOMEHUB_LED_BACKEND_XVF3800, button options)
esp32/main/CMakeLists.txt (xvf3800.c, voice_board_xvf3800.c)
esp32/main/led_status.c (XVF3800 ring over I2C)
esp32/main/button.c (active-high button, optional power GPIO)
esp32/main/voice.c (tap-vs-hold measurement)
esp32/tools/board.sh (seeed-respeaker-xvf3800 case)
esp32/components/muse/Kconfig (MUSE_TTS_*)
esp32/components/muse/muse_chat_session.cpp (start_tts / WAV / MP3)
Faça o build do firmware
Instale o ESP-IDF v6.0.3
esp32/cmake/validate_config.cmake requer ESP-IDF v6.0.3:
git clone -b v6.0.3 --recursive https://github.com/espressif/esp-idf.git ~/esp/esp-idf-v6.0.3
~/esp/esp-idf-v6.0.3/install.sh esp32s3
. ~/esp/esp-idf-v6.0.3/export.sh
Você também precisa de Git, Python 3 e um cabo USB‑C de dados. No Windows, o console do XIAO é USB nativo (303a:1001) e aparece como COMx. tools/board.sh é bash, então execute em Git Bash ou chame idf.py diretamente.
Defina as chaves
cd esp32
idf.py -B build-seeed-respeaker-xvf3800 menuconfig
Defina em ESP32 Device SDK:
- Muse Gadgets SDK token →
mgst_… - Opções de TTS (no menu Muse) → provedor, URL, modelo, voz, chave de API
Ou edite build-seeed-respeaker-xvf3800/sdkconfig diretamente:
CONFIG_GADGET_SDK_TOKEN="mgst_…"
CONFIG_MUSE_TTS_ENABLE=y
CONFIG_MUSE_TTS_URL="https://tts.us.assemblyai.com/v1/openai/audio/speech"
CONFIG_MUSE_TTS_MODEL="assemblyai-tts-en"
CONFIG_MUSE_TTS_VOICE="alloy"
CONFIG_MUSE_TTS_RESPONSE_FORMAT="mp3"
CONFIG_MUSE_TTS_MAX_CHARS=800
CONFIG_MUSE_TTS_API_KEY="YOUR_ASSEMBLYAI_KEY"
O
build-*/sdkconfiggerado substitui o overlay. Depois de alterardevices/sdkconfig.seeed-respeaker-xvf3800, atualize ou apague osdkconfiggerado.
Compilar
tools/board.sh seeed-respeaker-xvf3800 build
Ou diretamente:
idf.py -B build-seeed-respeaker-xvf3800 \
-DIDF_TARGET=esp32s3 \
-DSDKCONFIG=build-seeed-respeaker-xvf3800/sdkconfig \
-DSDKCONFIG_DEFAULTS="sdkconfig.defaults;devices/sdkconfig.seeed-respeaker-xvf3800" \
build
A imagem fica em:
esp32/build-seeed-respeaker-xvf3800/muse-gadget.bin
Grave o firmware
tools/board.sh seeed-respeaker-xvf3800 flash COM10
Ou diretamente:
idf.py -B build-seeed-respeaker-xvf3800 \
-DIDF_TARGET=esp32s3 \
-DSDKCONFIG=build-seeed-respeaker-xvf3800/sdkconfig \
-DSDKCONFIG_DEFAULTS="sdkconfig.defaults;devices/sdkconfig.seeed-respeaker-xvf3800" \
-p COM10 flash
- Substitua
COM10pela porta do XIAO (ls /dev/cu.usbmodem*no macOS,/dev/ttyACM*no Linux). - Se o processo de gravação não conseguir conectar: segure BOOT, toque em RESET, solte BOOT e tente novamente.
- Feche qualquer monitor serial que esteja usando a porta.
- Regravar mantém o pareamento/Wi‑Fi.
erase-flashapaga tudo, incluindo NVS e pareamento.
Fazer pareamento e testar
- App Muse → Settings → Devices → Developer mode ON.
- Add Device (+) →
MuseGadget-respeaker-XXXXXX. - Pressione o botão (ou o Grove Button) para confirmar.
- Escolha o Wi‑Fi 2,4 GHz e digite a senha.
- Aguarde o anel verde.
- Segure o botão, fale e solte:
link.voice: recorded X.Xsmuse_chat_session: TTS: N charslink.voice: reply: X.Xs of speech- A resposta é falada no alto-falante e exibida no app.
- Volume: peça ao Muse ("Set volume to 80") ou use
voice.configure. - Mute: use o botão Mute do XVF3800; quando em mute, o botão mantém seu papel de configuração.
- Redefinir configuração: segure o botão por 5 segundos para esquecer o pareamento/Wi‑Fi.
Linhas de log úteis:
link.xvf3800: AIC3104 outputs powered (DAC 0 dB, HP + line out)
link.xvf3800: XVF3800 firmware 1.0.9; 16 kHz I2S slave, ESP32 is master
link.xvf3800: reSpeaker XVF3800 audio ready
link.voice: ready
link.ble: advertising as MuseGadget-respeaker-XXXXXX
muse_chat_session: connected to VM …
muse_chat_session: TTS: N chars
muse_chat_session: reply audio: 16000 Hz, 1 ch, 64 kbps
link.xvf3800: amp on: X0D30=0 X0D31=0 X0D33=1
Notas de segurança
- O token do SDK é enviado dentro do firmware (ou NVS). Trate-o como um identificador, não como uma senha; revogue/rotacione em
gadgets.muse.aise ele vazar. - A chave de TTS fica em
esp32/build-*/sdkconfig, que está no.gitignore. Não a faça commit. - O pareamento da comunidade não possui atestação do fabricante e não consegue impedir um MITM ativo; faça a configuração em uma rede confiável.
- Secure Boot e criptografia de flash permanecem desativados; o app é assinado com a chave de desenvolvimento em commit para que você possa regravar livremente.
- A criptografia de NVS é recomendada (
CONFIG_HOMEHUB_NVS_ENCRYPTION) e é derivada automaticamente de uma chave HMAC de eFuse; decida antes de armazenar credenciais. - Não habilite
CONFIG_HOMEHUB_PAIRING_EFUSE_AUTHa menos que você tenha Secure Boot.
Recursos
- Este projeto (fork com a porta XVF3800): KasunThushara/muse-gadget-sdk
- Muse Gadget SDK (upstream): facebookincubator/muse-gadget-sdk
- Seeed reSpeaker XVF3800 + XIAO: Guia de primeiros passos
- Atualização de firmware XMOS: Guia de atualização de firmware
- Reprodução/gravação I2S: Gravar e reproduzir
- Lista de comandos I2C: Lista de comandos I2C
- Controle GPIO/GPI: Controle GPIO
- Repositório de firmware do fornecedor: reSpeaker_XVF3800_USB_4MIC_ARRAY
- AssemblyAI TTS: AssemblyAI TTS API
- Groq TTS: Groq text-to-speech
Suporte técnico e discussão sobre o produto
Obrigado por escolher nossos produtos! Estamos aqui para oferecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.