メインコンテンツまでスキップ

ReSpeaker XVF3800 入門ガイド

概要

ReSpeaker XVF3800 USB 4-Mic Array は、XMOS XVF3800 を搭載したプロフェッショナルな 4 マイク円形アレイで、AEC、AGC、DoA、ビームフォーミング、VAD、ノイズ抑制、残響除去、360° 音声キャプチャ(最大 5m)、および高度な音声アプリケーション向けの 2 つの動作モードを備えています。

pir

特長

  • チップのアップグレード :XVF3000 から XVF3800 へ

  • 4 マイクロフォンアレイ :4 つの高性能マイクを円形に配置し、最大 5 メートルの 360° 遠距離音声キャプチャに対応

  • 高度なオーディオ処理 :XVF3800 により駆動され、AEC、マルチビームフォーミング、残響除去、DoA 検出、動的ノイズ抑制、60dB の AGC レンジを実現

  • 一意のデバイスシリアル番号 :内蔵 SN により、複数デバイスの展開や高度なデバイス管理が可能

  • 2 つの動作モード :PC へ即座に接続できる USB プラグアンドプレイモードと、組み込みシステムと統合するための INT-Device(I2S)モードを搭載。ファームウェアを切り替えることで、USB または I2C コマンド経由で設定可能

  • オープンソース互換 :USB ホスト(Windows、macOS、Raspberry Pi OS)および I2S ホスト(XIAO シリーズ、ESP32、Arduino)で動作。

  • 視覚的フィードバック :プログラム可能な RGB LED とステータスインジケータにより、デバイス状態や音声アクティビティを表示

  • 同等またはそれ以上の音質 :従来モデルと比較して

ハードウェア概要

pir

主なコンポーネント

コンポーネント / 機能説明
メインオーディオプロセッサXMOS XVF3800。AEC、ビームフォーミング、ノイズ抑制などのオーディオ処理を担当します。
マイクロフォンアレイ円形配置の 4 つの PDM MEMS マイクロフォン で、360° 遠距離音声キャプチャ(5m) に対応します。
オーディオコーデックTLV320AIC3104。オーディオの変換と出力を担当します。
RGB LED視覚的フィードバック(例:ステータス、音声アクティビティ)用の 12 個の WS2812 個別制御 RGB LED。
ミュートボタン押すとマイク入力を ミュート/ミュート解除 します。
ミュートインジケータ LEDオーディオがミュートされていることを示すために(通常は赤色で)点灯します。
リセットボタンボード/システムのハードウェアリセット。
USB Type-C ポート電源とデータ の両方に使用されます(USB Audio Class 2.0 準拠)。
3.5mm AUX ヘッドホンジャックヘッドホンまたはアクティブスピーカー用のオーディオ出力。
スピーカーコネクタJST スピーカーインターフェース で、5W アンプ内蔵スピーカー をサポートします。
デバッグパッドXTAG4 などのプログラマ向けのデバッグアクセス。
I2C & I2S ヘッダ外部デバイスとの I2C および I2S 通信 のためのヘッダを引き出しています。
未使用 IO パッド(XIAO)XIAO モジュールに接続された追加の I/O はんだパッド。
I2S & I2C 通信これらのプロトコルを使用して、Raspberry Pi、PC などの外部ホストへの接続をサポートします。
USB & INT-Device モードデュアルモード動作:プラグアンドプレイ USB または I2S を介した内部 INT デバイスモード。
一意のシリアル番号識別および複数デバイス管理のための内蔵 デバイス SN
オープンソース互換性Arduino、Raspberry Pi、PC/Mac で動作し、XIAO シリーズ と互換性があります。
高度なオーディオ機能AEC、ビームフォーミング、残響除去、DoA 検出、DNN ベースのノイズ抑制、60dB AGC。
視覚的フィードバックRGB LED パターンステータスインジケータ により、デバイス状態とオーディオアクティビティを表示します。
オーディオ品質従来の XVF3000 ベース設計 と同等またはそれ以上。
注記

ReSpeaker XVF3800 には、XIAO なしのバージョンと、XIAO ESP32S3 をオンボード搭載したバージョンの 2 種類があります。XIAO なしのバージョンは、デフォルトの USB ファームウェアで動作します。XIAO 統合版を使用するには、INT-Device(I2S)モード 用にビルドされたファームウェアを書き込む必要があります。詳細なセットアップ手順については、公式 wiki ガイド を参照してください。

XIAO ESP32S3 サポート

  • 複数の出力オプションを備えたステレオ I2S 入出力;XVF3800 パラメータの設定および管理用の I2C インターフェース。
  • IO ピン経由の XIAO リセット
  • インターフェースおよびはんだパッド

ピン配置

pir

pir

GPIO 概要

reSpeaker XVF3800 には、外部制御用に 3 本の入力ピン(GPI)と 5 本の出力ピン(GPO)が用意されています。これらを使用してボタン状態を読み取ったり、ミュート LED、アンプ、LED などのハードウェアを制御したりできます。

ピン名方向機能
X1D09Input (RO)ミュートボタンの状態(離したとき High)
X1D13Input (RO)未接続
X1D34Input (RO)未接続
X0D11Output (RW)未接続
X0D30Output (RW)ミュート LED + マイクミュート制御(High = ミュート)
X0D31Output (RW)アンプ有効化(Low = 有効)
X0D33Output (RW)WS2812 LED 電源制御(High = オン)
X0D39Output (RW)未接続

はじめに

ハードウェアの準備

  • USB Type-C ケーブル
  • ホストコンピュータまたは Raspberry Pi

ソフトウェアの準備

開封後すぐに使う

DOA(到来方向)

LED アレイが入力音声の方向に追従する様子を体験できます。

ミュートボタン

pir

お使いの ReSpeaker 上の ミュートボタン は、マイクロフォンアレイからの 音声キャプチャを一時的に無効化 するために使用します。 ミュートボタンを押すとどうなりますか?

  • マイクがミュートされ、外部の音声はキャプチャも処理もされなくなります。
  • 赤色 LED が点灯しミュートモードが有効 であることを示します。
  • つまり、ReSpeaker はコンピュータやホストデバイスに いかなるオーディオ入力も送信しません

Audacity で試してみましょう

pir

リセットボタン

リセット(RST)ボタンは XVF3800 のハードウェアリセットを提供します。押すとチップが再起動し、完全な電源再投入と同様に、システムを最初から再初期化します。

pir

スピーカー接続

ここでは、オーディオ出力の好みに応じて、3.5mm AUX ヘッドホンジャックまたはオンボードの JST スピーカーインターフェースを使用してスピーカーを接続する方法を確認できます。

pir

pir

セーフモード

セーフモードは ReSpeaker XVF3800 上の特別なリカバリモードで、Raspberry Pi や ESP32 のようなデバイス向けに、USB DFU または I2C を介してファームウェアを書き込むことができます。以前に I2S ファームウェアを書き込んでいて、USB ファームウェアに戻したい場合は、セーフモードに入って USB DFU を使用し、USB ファームウェアを書き戻すことができます。

注記

ReSpeaker XVF3800 上の各種ファームウェアは、それぞれ異なる更新方法をサポートしています。

  • USB ファームウェアUSB DFU のみをサポートしており、USB 接続を使用してデバイスを更新できます。ただし、I2C DFU には対応していません

  • I2S ファームウェア はその逆で、I2C DFU をサポートしており、I2C インターフェース経由でファームウェア更新が可能ですが、USB DFU には対応していません

  • Factory パーティションに保存されている Safe Mode ファームウェア は、最も柔軟性があります。USB DFU と I2C DFU の両方をサポートします。

Safe Mode を使用するタイミング

  • ファームウェアが正しく動作していない(例:USB が認識されない、LED が期待どおりに点灯しない)場合。
  • 新しいファームウェアを書き込みたいが、現在のファームウェアが応答しない場合。
  • 誤ったファームウェアを書き込んでしまい、復旧したい場合。

Safe Mode への入る方法

  • デバイスの電源を完全に切ります。
  • Mute ボタンを押し続けます。
  • Mute ボタンを押したまま、電源を再接続します。
  • 赤色 LED が点滅し始めます — これでデバイスが Safe Mode になったことが確認できます。
  • これでデバイスは Factory パーティションに保存されている Safe Mode ファームウェアで動作します。

ファームウェアを更新する

公式 GitHub リポジトリには 3 つのファームウェアバージョンが用意されています。用途に応じて適切なファームウェアを選択して書き込むことができます。詳細およびダウンロードについては、Github Link を参照してください。

注記

GitHub からファームウェアファイルをダウンロードする際に "save as" を使用しないでください。ファイルが破損します。リポジトリをクローンするか、"Download as ZIP" を使用して、リポジトリ全体(および含まれるすべてのファイル)を ZIP ファイルとしてダウンロードしてください。

USB ファームウェアは、USB ハードウェアインターフェースを介して通信する際に、Windows、Linux、macOS などのホスト OS で使用するために設計されています。

2 つのファームウェアバリエーションがあります。respeaker_xvf3800_usb_dfu_firmware_v2.0.x.bin2 チャンネル オーディオを提供し、respeaker_xvf3800_usb_dfu_firmware_6chl_v2.0.x.bin6 チャンネル オーディオを提供します。どちらのファームウェアも、16 kHz のサンプリングレートと 32 ビット 深度で動作します。

これらのファームウェアファイルは this link から確認できます。

ファームウェアチャンネル数備考
respeaker_xvf3800_usb_dfu_firmware_v2.0.x.bin2処理済み 2 チャンネル出力
チャンネル 0: 会議用
チャンネル 1: ASR
respeaker_xvf3800_usb_dfu_firmware_6chl_v2.0.x.bin6チャンネル 0: 処理済みオーディオ(会議用)
チャンネル 1: 処理済みオーディオ(ASR)
チャンネル 2: マイク 0 生データ
チャンネル 3: マイク 1 生データ
チャンネル 4: マイク 2 生データ
チャンネル 5: マイク 3 生データ

reSpeaker XVF3800 を USB ケーブルで PC に接続します。XMOS のファームウェアを書き込むには、XMOS USB-C ポート(3.5mm ジャックポートの近く)を使用する必要があることに注意してください。

DFU Util をインストールする

dfu-util は、USB 経由で Device Firmware Upgrade を行うためのコマンドラインツールです。

  • dfu-util-0.11-binaries.tar.xz をダウンロードして展開します(例:D:\dfu-util-0.11-binaries\win64\
    Download Link

  • システムの Path 変数に dfu-util.exe へのパスを追加します:
    My Computer > Properties > Advanced > Environment Variables > Path

  • Command Promptcmd)を開き、インストールを確認します:

dfu-util -V

pir

  • ReSpeaker XVF3800 を接続し、デバイスが検出されるか確認します:
dfu-util -l

pir

次のメッセージが表示された場合:
Cannot open DFU device 2886:001a ... (LIBUSB_ERROR_NOT_SUPPORTED)
以下のドライバインストール手順に進んでください。

  • Zadig をインストールします。
    • Zadig を開き、Options > List All Devices を選択
    • reSpeaker 3800 または reSpeaker XVF3800 4-Mic Array を選択
    • WinUSB ドライバをインストール
    • デバイスの電源を入れ直す(電源再投入)
    • 再度 dfu-util -l を実行し、検出を確認します。

ファームウェアを書き込む

GitHub から完全なファームウェアリポジトリをダウンロードします XMOS XVF 3800

  • 次のコマンドを実行してファームウェアを書き込みます。

dfu-util -R -e -a 1 -D /path/to/dfu_firmware.bin
  • Linux では、sudo を付けて実行します。
sudo dfu-util -R -e -a 1 -D /path/to/dfu_firmware.bin
  • -R オプションは、書き込み後にボードを自動的に再起動します。

pir

  • dfu-util -l コマンドで再度ファームウェアバージョンを確認し、新しいファームウェアが書き込まれたことを確認します。

録音と再生

Audacity のセットアップ(Windows)

  1. Audacity を開きます。
  2. Audio Setup > Audio Settings に移動します。

pir

  1. 次のように設定します:
    • Host: Windows WASAPI
    • Recording Device: reSpeaker 3800
    • Channels: 2 (Stereo)
    • Sample Rate: 16000 HzProjectDefault Sample Rate の両方)
    • Sample Format: 24-bit

pir

  1. OK をクリックします。
  2. 準備完了です — 録音を開始しましょう!

pir

パラメータをどのようにチューニングしますか?

チューニングにより、内蔵オーディオアルゴリズムのパラメータを設定し、XMOS チップと直接通信することができます。

パラメータ設定とデバイスとのやり取りのために、専用の Python 制御インターフェースが用意されています。

Python Control Directory

提供されている Python スクリプトを使用すると、次のことができます:

  • 内蔵オーディオアルゴリズムのパラメータを設定する
  • DoA(到来方向)データを取得する
  • VAD(音声活動検出)データを取得する
  • オンボード LED を制御する
  • 音声処理パイプラインを制御する
  • XMOS デバイスと直接通信する

システム要件

Python 制御インターフェースを使用するには、次の依存関係が必要です:

  • Python 3.6 以降
  • pyusb Python ライブラリ
  • libusb システムライブラリ

インストールと依存関係

必要な Python 依存関係を次のコマンドでインストールします:

pip install pyusb

オペレーティングシステムによっては、libusb パッケージを別途インストールする必要がある場合があります。

使い方

基本構文

python xvf_host.py [options] command [value(s)...]

コマンドオプション

OptionDescription
-l, --listサポートされているすべてのコマンドを詳細情報付きで一覧表示します
--vidUSB ベンダー ID を設定します(デフォルト:0x2886
--pidUSB プロダクト ID を設定します(デフォルト:0x001A
--values書き込みコマンドに渡す値を指定します(オプション)

使用例

利用可能なコマンドを一覧表示

サポートされているすべてのファームウェアコマンドを表示します。

python xvf_host.py --list

ファームウェアバージョンを読み取る

デバイス上で現在動作しているファームウェアバージョンを取得します。

python xvf_host.py VERSION

出力例

VERSION: [2, 0, 7]

到来方向(DOA)を読み取る

検出された音源の方向を取得します。

python xvf_host.py DOA_VALUE

出力例

DOA_VALUE: [135]

LED の色を設定する

16 進数の RGB 値を使用して LED の色を設定します。

python xvf_host.py LED_COLOR --values 0xFF0000

LED の明るさを設定する

LED の明るさ(パーセンテージ)を調整します。

python xvf_host.py LED_BRIGHTNESS --values 50

マイクアレイのジオメトリを読み取る

音響処理アルゴリズムで使用されるマイクの座標を取得します。

python xvf_host.py AEC_MIC_ARRAY_GEO

出力例

AEC_MIC_ARRAY_GEO:
[0.033, -0.033, 0.000,
0.033, 0.033, 0.000,
-0.033, 0.033, 0.000,
-0.033, -0.033, 0.000]

reSpeaker コンソールアプリケーション

reSpeaker デバイスを制御および設定するためのデスクトップアプリケーションを用意しています。

このアプリケーションを使用すると、次のことができます:

  • reSpeaker デバイスに接続する
  • オーディオ設定を構成する(ノイズ抑制、ゲイン、AEC、およびチャンネル構成)
  • 到来方向(DoA)と音声活動検出(VAD)をモニタリングする
  • LED エフェクトを制御する
  • デバイスパラメータを調整する

アプリケーションのインストール

最新リリースを次からダウンロードします:

https://github.com/respeaker/respeaker-console/releases

PlatformArchitecturePackage Type
Windowsx64.msi / .exe
macOSApple Silicon.dmg (aarch64)
macOSIntel.dmg (x86_64)
Linuxx64.deb / .AppImage

Windows:USB ドライバのセットアップ

アプリケーションを初めて使用する前に、Zadig を使用して WinUSB ドライバをインストールします。

ステップ 1: Zadig をダウンロードして実行します。

ステップ 2: Options → List All Devices を選択します。

ステップ 3: デバイスリストから reSpeaker 3800 または reSpeaker XVF3800 4-Mic Array を選択します。

ステップ 4: ドライバとして WinUSB を選択します。

ステップ 5: Install Driver をクリックします。

ステップ 6: デバイスを一度抜き、再接続します。

ステップ 7: デバイスが認識されていることを確認するため、次のコマンドを実行します:

dfu-util -l
注記

dfu-util.exe はアプリケーションに同梱されているため、別途インストールする必要はありません。

Linux:dfu-util のインストールと USB パーミッションの設定

dfu-util をインストールします:

sudo apt install dfu-util

USB アクセスには udev ルールも必要です。

次のファイルを作成します:

/etc/udev/rules.d/99-respeaker.rules

次の行を追加します:

SUBSYSTEM=="usb", ATTRS\{idVendor\}=="2886", MODE="0666", GROUP="plugdev"

udev ルールを再読み込みします:

sudo udevadm control --reload-rules && sudo udevadm trigger

最後に、デバイスを一度切断してから再接続します。

macOS:dfu-util のインストール

ファームウェア更新機能を使用する前に dfu-util をインストールします。

brew install dfu-util

アプリケーションの使用方法

アプリケーションをインストールしたら起動し、reSpeaker Console にアクセスします。

サイドバーの各セクションについて説明します。

デバイス接続

まず、reSpeaker デバイスを接続します。

  1. Scan Devices をクリックします。
  2. アプリケーションが検出されたすべてのデバイスを一覧表示します。
  3. 自分のデバイスを選択します。
  4. Connect をクリックして接続を確立します。

Device Connection

Device Connection

Audio

Audio タブでは、オーディオ処理パイプラインを設定および強化できます。

ここでは次の項目を設定できます:

  • 非定常ノイズ抑制
  • 定常ノイズ抑制
  • 自動ゲイン制御(AGC)
  • アコースティックエコーキャンセレーション(AEC)
  • 出力チャンネル構成
  • 左右チャンネルマッピング

Audio Tab

Monitor

Monitor タブでは、マイク処理のリアルタイム可視化が提供されます。

次の項目をモニタリングできます:

  • 到来方向(DoA)
  • 音声活動検出(VAD)
  • ビームエネルギーレベル

これらの指標により、デバイスが音声を正しく検出しているかを確認できます。

Monitor Tab

LEDs

LEDs タブでは、LED リングをカスタマイズできます。

利用可能な機能には次のものがあります:

  • ブリージングエフェクト
  • レインボーエフェクト
  • リングエフェクト
  • 明るさの調整
  • アニメーション速度の制御
  • RGB カラーの選択

LEDs Tab

Parameters

Parameters タブでは、すべての設定可能なデバイスパラメータにアクセスできます。

設定は次のようなカテゴリに整理されています:

  • Audio
  • Acoustic Echo Cancellation (AEC)
  • Post Processing
  • LEDs / GPIO
  • System

このインターフェースから、パラメータ値を直接更新できます。

各パラメータには、その目的と推奨値の範囲を理解するのに役立つ説明が含まれています。

Parameters Tab

トラブルシューティング

スピーカー出力からの再生音が十分に大きくありませんか?

Linux で ReSpeaker XVF3800 のスピーカー出力音量が小さすぎる場合、XVF3800 サウンドカードの ALSA ミキサーレベル を調整する必要があるかもしれません。出力音量を上げるには、以下の手順に従ってください。

ステップ 1:ALSA Mixer を開く

  1. ターミナルを開きます。

  2. 次のコマンドを入力し、Enter を押します:

    alsamixer

ステップ 2:XVF3800 サウンドカードを選択する

  1. F6 を押してサウンドカード選択メニューを開きます。
  2. 上下の矢印キー を使って XVF3800 サウンドカードをハイライトします。
  3. 選択を確定するには Enter を押します。

ステップ 3: PCM-1 の音量を調整する

  1. 左右の矢印キーを使用して PCM-1 に移動します。
  2. 上矢印キーを使用して音量レベルを 100% まで上げます。

pir

ステップ 4: ALSA 設定を保存する

  1. ESC を押して alsamixer を終了します。
  2. XVF3800 を取り外す前に、次のコマンドを実行して設定を保存します:
   sudo alsactl store

ステップ 5: 追加オプション(PulseAudio の使用)

ALSA レベルを調整してもまだ音がはっきり聞こえない場合は、より詳細な音量調整のために PulseAudio Volume Control をインストールしてみてください:

sudo apt install pavucontrol -y

その後、pavucontrol を開き、必要に応じて出力音量を 100% を超えて上げることができます。

USB ドライバを再インストールした後、ReSpeaker が録音・再生できない

デバイスマネージャーで ReSpeaker に関連するすべてのドライバをアンインストールしてください。これで問題が解決しました。

ファームウェアを書き込んだ後、Windows でサウンドデバイスとして使用できない?

スタートメニューを開き、「Device manager」と入力します。関連する reSpeaker XVF 3800 デバイスを見つけて右クリックし、Uninstall devices を選択します。その後、デバイスを再起動します(USB を抜き差しします)。すると Windows が正しいサウンドカードドライバを再インストールします。

pir

リソース

技術サポート & 製品ディスカッション

弊社製品をお選びいただきありがとうございます。弊社は、製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに応じて選べる、複数のコミュニケーションチャネルをご用意しています。

Loading Comments...