メインコンテンツまでスキップ

reSpeaker と SenseCraft AI

はじめに​

SenseCraft AI は、reSpeaker などのエッジデバイスへの学習済み人工知能モデルのデプロイを簡素化する、Seeed Studio のノーコード／ローコード AI プラットフォームです。本ガイドでは、カスタムトリガー「Lumio」を使用したウェイクワード検出用に reSpeaker を設定し、複雑なコードを書くことなくプロジェクトで音声起動による制御を可能にする方法に焦点を当てます。SenseCraft AI を使用すると、ウェイクワードイベントをハードウェアワークフローにすばやくテスト、プレビュー、統合できます。また、このプラットフォームでは、特定の音イベントやカスタムウェイクワードを検出するための独自モデルを作成してアップロードすることもでき、用途に合わせて音声インタラクションを柔軟にカスタマイズできます。

reSpeaker LitereSpeaker XVF3800

または

今すぐ入手 🖱️

今すぐ入手 🖱️

既存モデルのデプロイ​

ステップ 1: デバイスのファームウェアを更新する​

ウェイクワードモデルをデプロイする前に、reSpeaker XVF3800 が正しいファームウェアバージョンで動作していることを確認してください。

必要なファームウェアファイルは次のとおりです：

respeaker_xvf3800_i2s_master_dfu_firmware_v1.0.7_48k_test5.bin

標準の DFU（Device Firmware Update）手順に従って、このファイルを reSpeaker XVF3800 に書き込んでください。

reSpeaker Lite を使用している場合は、正しいファームウェアバージョンで動作していることを確認してください。

必要なファームウェアファイルは次のとおりです：

respeaker_lite_i2s_dfu_firmware_v1.0.9.bin

標準の DFU（Device Firmware Update）手順に従って、このファイルを reSpeaker Lite に書き込んでください。

ステップ 2: SenseCraft AI プラットフォームへ移動する​

Web ブラウザを開き、次のページにアクセスします：

https://sensecraft.seeed.cc/

ステップ 3: トレーニングセクションにアクセスする​

メインナビゲーションメニューから：

  1. Products をクリック
  2. SenseCraft AI を選択
  3. Training AI Models を選択

ステップ 4: ワークスペースを開く​

  1. 自分の Workspace に移動します

pir

  1. アクティブなデバイスタイプとして reSpeaker がワークスペースに設定されていることを確認します
  2. デバイスリストから reSpeaker を選択します
  3. Connect ボタンをクリックしてデバイスとの接続を確立します

pir

ステップ 5: 実行中のモデルを置き換える​

接続が完了したら、デバイス上の既存モデルを置き換えます：

  1. 「Replace the device running model」の下にある Model セクションを探します
  2. Select Model をクリックします

pir

  1. 利用可能なオプションから Keyword Spotting- Lumos Keyword recognition を選択します

pir

注記

デプロイしているモデルは Lumos と呼ばれます。これは、エッジデバイス向けに効率的で低レイテンシな音声インタラクション機能を提供するよう設計された軽量音声認識モデルです。音声のスペクトル特徴を解析することで、複雑な環境雑音の中でも特定のウェイクワード 「Lumos」 を高精度に検出できます。

ステップ 6: モデルのデプロイを確認する​

  1. モデルの詳細を示すダイアログボックスが表示されます
  2. Confirm をクリックして、モデルをデバイスに書き込む処理を続行します
  3. モデルが reSpeaker に書き込まれるまでしばらく待ちます

pir

ステップ 8: ウェイクワード検出をテストする​

デプロイが正常に完了すると、次のものが表示されます：

  • オーディオスペクトラムの可視化 – リアルタイムの音声入力を表示
  • 2 つの検出クラス：
    • Background Noise
    • Lumos

ウェイクワードをテストするには：

  1. 「Lumos」 とはっきり発音して reSpeaker のマイクに話しかけます
  2. Lumos クラスの信頼度レベルが上昇する様子を確認します
  3. 必要に応じて threshold parameter を調整し、検出感度を微調整します

pir

独自のオーディオ分類器を学習してデプロイする​

ステップ 1: Training タブを開く​

  1. https://sensecraft.seeed.cc/ にアクセスします
  2. メインメニューから Products → SenseCraft AI → Training AI Models に進みます
  3. Training タブをクリックして、オーディオ分類インターフェースにアクセスします

pir

ステップ 2: reSpeaker デバイスを接続する​

Audio Classification / Detection の下で：

  1. 入力デバイスとして reSpeaker Microphone が選択されていることを確認します
  2. Connect ボタンをクリックして接続を確立します
  3. プラットフォームが接続成功を確認するまで待ちます

pir

ステップ 3: バックグラウンドノイズデータを収集する​

カスタムサウンドを学習させる前に、通常の環境ノイズの基準を確立する必要があります。

  1. Collect Training Data for Background Noise を押します

pir

  1. プラットフォームは自動的に約 20 秒間 録音します
  2. 録音は 1 秒サンプル に分割されます
  3. 完了すると、バックグラウンドデータサンプルのプレビューが表示されます
  4. サンプルを確認し、問題なければ Apply を押します

pir

ステップ 4: カスタムサウンドクラスを作成する​

ここでは、モデルに検出させたい特定の音のための新しいクラスを追加します。

4.1 クラスに名前を付ける

  1. Add New Class をクリックします
  2. クラス名として Grassbreaking と入力します
  3. Create を押すか、新しいクラスを確定します

pir

4.2 カスタムクラスのトレーニングデータを収集する

  1. Grassbreaking クラスを選択します
  2. Collect Training Data を押します
  3. プラットフォームは約 2 秒間 録音します
  4. 録音は 1 秒サンプル に分割されます

4.3 サンプルを確認して適用する

  1. 収集後、2 サンプル のプレビューが表示されます
  2. サンプルを再生または確認します
  3. 品質に満足したら Apply を押します

pir

4.4 さらにサンプルを収集する

信頼性の高い検出を実現するため、Grassbreaking クラスについて少なくとも 8 サンプル を収集できるまで、データ収集プロセスを繰り返してください。

良いサンプルを得るためのヒント：

  • 草が折れる音の強さを変えて収集する
  • 位置や角度を少し変えてサンプルを収集する
  • バックグラウンドノイズよりもはっきりと音が聞こえるようにする

ステップ 5: モデルを学習させる​

十分なデータを収集したら、モデルを学習させます。

5.1 トレーニングステップに移動する​

インターフェースの Step 2: Training に移動します。

5.2 デバイス選択を確認する​

トレーニング対象デバイスとして reSpeaker が選択されていることを確認します。

5.3 トレーニングを開始する​

  1. Train ボタンを押します
  2. トレーニングプロセスが完了するまで数分待ちます
  3. トレーニング中はブラウザを閉じたり、デバイスの接続を切断したりしないでください

pir

5.4 トレーニング結果を確認する​

トレーニングが完了すると、学習済みクラスが次の内容とともに表示されます：

  • 信頼度レベルを示すアニメーション付き確率バー
  • ライブ音声入力に基づくリアルタイム予測

pir

ステップ 6: モデルを reSpeaker にデプロイする​

6.1 デプロイ手順へ移動

インターフェースで Step 3: Deploy に移動します。

6.2 モデルをデプロイする

  1. Deploy ボタンをクリックして、モデルをデバイスにプッシュします

pir

  1. 確認ダイアログが表示されます
  2. デプロイを確認して、TFLM (TensorFlow Lite Micro) モデルを reSpeaker の XIAO ESP32-S3 にプッシュします

pir

6.3 完了を待つ

デプロイ処理には少し時間がかかる場合があります。デプロイが成功したことを示す確認メッセージが表示されるまでお待ちください。

ステップ 7: リアルタイム検出をモニタリングする​

デプロイが正常に完了したら：

  1. インターフェースに、検出された各クラスのアニメーション付き信頼度バーが表示されます
  2. 検出をテストするために、話しかけるか草が折れる音を出します
  3. Grassbreaking クラスの信頼度レベルが上昇する様子を確認します
  4. カスタムサウンドが検出されたときに Background Noise の信頼度が低下する様子を確認します

pir

技術サポート & 製品ディスカッション​

弊社製品をお選びいただきありがとうございます。私たちは、製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに応じて選べる、複数のコミュニケーションチャネルをご用意しています。

Loading Comments...