メインコンテンツまでスキップ

SenseCAP Watcher への AI モデルのフラッシュ

概要​

このプロジェクトを実現するうえで多大な貢献をしてくださったオープンソースプロジェクト XiaoZhi AI Chatbot に特別な感謝を申し上げます。

このガイドでは、SenseCAP Watcher に「ビジュアル認識トリガー会話」ファームウェアを書き込む方法と、デバイス上の AI モデルを置き換えたり更新したりする方法に焦点を当てています。これらの操作を実践的に説明する手順ガイドです。

Watcher の機能、アプリケーション、ユースケースの詳細な紹介については、SenseCAP Watcher - 世界と能動的に対話する AI アシスタント を参照してください。

前提条件​

必要なハードウェア​

  • SenseCAP Watcher デバイス
  • USB Type-C データケーブル
  • Windows PC
注記

Visual Activation Firmware をフラッシュし、かつお使いの Watcher デバイスのモデルが -EN ではない 場合、通常使用のために認証ファイルを手動でフラッシュする必要があります（1 回のみ必要）。
詳しい手順については、Watcher Agent Firmware フラッシュガイドを参照してください。

ファームウェアのフラッシュ手順​

前提条件

Step 1. SenseCraft AI > Models > Workspace > SenseCAP Watcher から SenseCAP Watcher ワークスペースにアクセスするか、このワークスペースへの直接リンクを使用します。

Step 2. シリアルポート経由でプラットフォームに接続する

  • Connect をクリックします

  • 正しいシリアルポート（末尾が “A” のもの）を選択します

注記

macOS または Linux を使用している場合は、番号が小さい方のポートを選択してください。

  • Connect をクリックします

Step 3. デバイスバージョンの確認と更新

  • Update をクリックします

  • 正しいシリアルポート（末尾が "B" のもの）を選択します

    注記

    macOS または Linux を使用している場合は、番号が大きい方のポートを選択してください。

  • 'Connect' をクリックします

  • フラッシュしたいバージョンを選択し、Confirm をクリックします

  • 更新と再起動のプロセスが完了するまで待ちます

注記

ビジュアルウェイクアップ機能をサポートするのは、ファームウェアバージョン 1.8.8 以降のみです。 v2.0.3 より上のファームウェアバージョンでは、ビジュアル検出を有効にするために Xiaozhi に「Turn on the inference switch」と話しかける必要があります。

AI モデルのフラッシュ手順​

Step 1. SenseCraft AI > Models > Workspace > SenseCAP Watcher から SenseCAP Watcher ワークスペースにアクセスするか、このワークスペースへの直接リンクを使用します。

ステップ 2. シリアルポートでプラットフォームに接続する

  • Connect をクリックします

  • 正しいシリアルポート（末尾が “A” のもの）を選択します

注記

macOS または Linux を使用している場合は、番号が小さい方のポートを選択してください。

  • Connect をクリックします

ステップ 3. 既存モデルの確認と新しいモデルへの変更

  • モデル名とモデルバージョンを確認します

  • Select Model... をクリックし、書き込みたいモデルをクリックします

  • Confirm をクリックします

ステップ 4. 効果をプレビューし、パラメータを調整する

現在のビジュアルウェイクアップ機能では、次の設定オプションが利用できます：

  • Target ID (target)：検出するターゲット ID を指定します。この ID は使用するビジュアルモデルに依存し、デフォルト値は 0 です。
  • Detection Duration (duration)：単位は秒で、ビジュアルウェイクアップの感度を調整するために使用します。デフォルトは 1 秒です（このデフォルトには 1 秒のデバウンス処理は含まれません）。
  • Confidence Threshold (threshold)：ビジュアルモデルが物体を認識するための信頼度の下限で、検出感度を調整するために使用します。パーセンテージで表され、デフォルトは 75% です。
  • Cooldown Period (interval)：単位は秒で、1 回の会話が終了してから再度トリガーされるまでに必要な待ち時間を示し、同じ物体による頻繁な割り込みを避けるために使用します。デフォルトは 8 秒です。

例えば、threshold パラメータを変更することでモデルの感度を調整できます。現在のしきい値が厳しすぎると感じた場合は、Watcher に「信頼度のしきい値を 60% に設定してください」と話しかけてください。

トラブルシューティング​

よくある問題​

  1. COM ポートが検出されない

    • 下側の Type-C ポートを使用していることを確認してください
    • 別の USB ケーブルを試してください
    • USB ドライバが正しくインストールされているか確認してください

  2. フラッシュに失敗する

    • Himax をフラッシュする場合は、末尾が “A” の COM ポートを選択してください。
    • ESP32-S3 をフラッシュする場合は、末尾が “B” の COM ポートを選択してください。

  3. デバイスが反応しない

    • ピンを使ってリセットボタンを軽く押してください
    • フラッシュする前に一度消去を試してください

  4. ビジュアル検出でデバイスがウェイクアップしない

    • シリアル出力に関連するログメッセージがあるか確認してください。
    • ファームウェアバージョン v2.0.3 では、この機能を有効にするために Xiaozhi に「Turn on inference switch」と話しかける必要があります。

  5. シリアルにビジュアル認識ログが表示されるが、デバイスが依然としてウェイクアップしない

    • SenseCraft AI Platform にアクセスし、Person モデルを AI チップにフラッシュしてください。

FAQ​

Q: Himax に他の AI モデルを書き込むことはできますか？

A: 現在サポートされているのは Face モデルと Person モデルのみです。他のモデルの書き込みはまだサポートされておらず、今後のアップデートで利用可能になる予定です。

テクニカルサポート​

Loading Comments...