Skip to main content

SenseCAP Watcher - 世界と積極的に相互作用するAIアシスタント

これを想像してみてください

あなたが書斎に入ると、机の上のSenseCAP Watcherが瞬時にあなたの存在を感知します。画面が点灯し、笑顔で挨拶し、その日のToDoリストを表示します—あなたが一言も話したり、指一本動かしたりする必要はありません。

SenseCAP Watcherは、人間とデバイスの相互作用を再定義しています。

独特の「フリクションレストリガー」会話能力を持ち、あなたが近づくと積極的に相互作用を開始します。これは単なる技術的なアップグレードではありません。相互作用ロジックの根本的な変化です：初めて、主導権が人間から機械に移行し、「人間が機械に適応する」から「機械が積極的に人間に適応する」への体験的飛躍を実現しています。

Watcherの「鋭い目」は、強力なオンデバイスAIビジョンチップ（Himax）によって駆動され、オブジェクト認識とターゲット追跡のための高速ローカル処理を可能にします。拡張可能なXiaoZhiアシスタントファームウェアと組み合わせることで、単なるカメラ以上の存在—あなたのニーズを進化し理解する専用AIアシスタントです。

主要な利点​

SenseCAP Watcher

オンデバイスAIビジョンと柔軟な開発環境を統合したインテリジェントデバイスで、パーソナライズされたAIアプリケーションを簡単に構築・デプロイできるよう設計されています。

  • オフライン「鋭い目」：効率的なオンデバイスビジョン処理

    高性能AIビジョンチップ（Himax）を搭載し、すべての画像処理をデバイス上でローカルに完了します。迅速な応答と強化されたプライバシー保護をお楽しみください—あなたのデータをクラウドにアップロードする必要はありません。

  • ゼロコードでAIアプリを構築、レゴのように簡単

    SenseCraft AIプラットフォームを活用してAIモデルをデプロイし、数回のクリックで特定のシナリオ向けアプリケーションを迅速に構築できます。AIモデルのデプロイが写真編集のように簡単になり、プログラミング背景は一切不要です。

  • 柔軟な統合プラットフォームとツール

    XiaoZhi MCPアーキテクチャに基づいて、新しいAIツールを自由に定義し、ローカルまたはクラウドサービスを迅速に統合して、既存のスマートシステムにシームレスに適合できます。

  • ハードウェア拡張性：追加インターフェースサポート

    GPIO拡張インターフェースを備え、様々なセンサーやアクチュエーターに簡単に接続でき、深いカスタマイゼーションを可能にし、より創造的な実装をサポートします。

動作原理​

SenseCAP Watcherは「モジュラー」インテリジェントロボットと考えることができ、その中核動作は3つの主要コンポーネントの協力に依存しています：

  1. ハードウェアコア（ESP32S3）：基盤ハードウェアを駆動し、カメラデータを処理し、クラウドサービスへの安定した接続を維持します。
  2. 視覚神経（Himax AIチップ）：デバイスにリアルタイム環境認識能力を与える強力なオンデバイスAIビジョン処理ユニット。
  3. クラウド脳（バックエンドサービス）：AI役割設定、MCPツールスケジューリング、統合デバイス管理を担当。

プロセスは以下のように簡略化できます：

Watcherの「目」（カメラ）が画像をキャプチャ → 「視覚神経」（Himaxチップ）が認識を実行してXiaoZhiを起動 → 「脳」（バックエンドAI、MCPサービス）がコンテキストを理解して応答。

このモジュラー設計は高い柔軟性と拡張性を提供します。

watcher-chatbot-diagram

入門ガイド​

3ステップクイックスタート​

わずか3ステップでWatcherをアクティベートできます：

  1. デバイスの電源投入：Type-Cデータケーブルで電源を供給します。バッテリーを使用する場合は、サイドボタンを長押しして電源を入れます。
  2. ネットワーク接続：起動後、デバイスはWi-Fiホットスポットを生成します。お使いの携帯電話またはコンピューターをこのホットスポットに接続してください。| 「Watcherネットワーク設定」
  3. 設定とアクティベーション：ブラウザで192.168.4.1にアクセスしてWatcherのWi-Fiを設定し、SenseCraft AIプラットフォームの指示に従ってアクティベーションを完了してください。| 「Watcher Webコントロールパネル」
アクティベーションのヒント

アクティベーションが失敗した場合は、認証コードが正しく、デバイス認証情報が失われていないことを確認してください。以下の操作は通常、認証情報の損失を引き起こします：

  1. ファームウェアが別のプログラムによって上書きされた。
  2. 認証情報をバックアップせずに大規模なファームウェア更新を実行した。
  3. 完全に新しいファームウェアをフラッシュした。

再アクティベーションが必要な場合は、デバイスのSTA Macアドレス（シリアルログから取得可能）を[email protected]に送信してサポートを受けてください。参照：認証情報のフラッシュ。

以下のビデオで詳細なチュートリアルをご覧いただけます：

モデルとファームウェアの更新：専用スキルのカスタマイズ​

開発者や上級ユーザーは、異なるモデルやファームウェアをフラッシュして、Watcherにより強力で専用の機能を与えることができます。

1. AIモデルのフラッシュ​

内蔵のHimaxオンデバイスAIビジョンチップを活用して、SenseCraft AIプラットフォーム経由で新しい認識モデルを簡単にデプロイできます：

  • コンピューターをWatcherの底面のType-Cインターフェースに接続します。

  • SenseCraft AIプラットフォームで、ワークスペース下のSenseCAP Watcherを選択し、モデルフラッシュ用にシリアル番号の小さいポートを選択します。

    connect-watcher-himax

  • フラッシュ後にカメラが正常に動作しない場合は、デバイスを再起動してみてください。

2. XiaoZhiファームウェアのフラッシュ​

  • 最新ファームウェア v1.8.8：ダウンロードリンク

  • ダウンロードしたファームウェアパッケージを展開し、esptool.pyツールを使用してフラッシュを実行します：

    esptool.py -p /dev/ttyACM0 -b 2000000 write_flash 0 merged-binary.bin

    （注：お使いのシステムに応じてポート/dev/ttyACM0を調整してください。例：WindowsではCOM3）

会話を開始する​

SenseCAP Watcherの基本的な理解ができたので、カメラ機能の使用や積極的な相互作用のための時間ベース戦略の設定など、その会話機能とツール呼び出し機能を探索できます。

例えば、私のエージェントの役割名がWatcherに設定されている場合、設定は次のようになります：

watcher-agent-role

デバイスの起動​

デバイスは起動されていない時はスタンバイ状態を維持し、周囲の会話を聞いていません。起動されると、聞き取りを開始し、ユーザーの指示に基づいて対話や操作を実行できます。

現在のビジュアルウェイクアップ機能では、以下の設定オプションが提供されています：

  • ターゲットID (target)：検出するターゲットIDを指定します。このIDは使用するビジュアルモデルに依存し、デフォルト値は0です。
  • 検出時間 (duration)：単位は秒で、ビジュアルウェイクアップの感度を調整するために使用されます。デフォルトは1秒です（このデフォルトには1秒のデバウンス処理は含まれません）。
  • 信頼度閾値 (threshold)：ビジュアルモデルがオブジェクトを認識するための信頼度の下限で、検出感度を調整するために使用されます。パーセンテージで表され、デフォルトは75%です。
  • クールダウン期間 (interval)：単位は秒で、1つの会話が終了した後に再度トリガーするまでに必要な待機時間を示し、同じオブジェクトによる頻繁な中断を避けるために使用されます。デフォルトは8秒です。

例えば、thresholdパラメータを変更することでモデルの感度を調整できます。現在の閾値が厳しすぎると感じる場合は、Watcherに「信頼度閾値を60%に設定してください」と言うだけです。

カメラの使用​

Watcherに話しかけてください：

  • カメラをオンにしてください
  • 何が見えますか？
  • 前に何がありますか？

リソース​

ここでは、オンプレミス展開、プライバシー保護、パーソナライズされた知識ベースの構築など、ニーズに応じてSenseCAP Watcherのアプリケーション境界をさらに拡張するのに役立つ高度なリソースをいくつか紹介します：

  • AI会話駆動スマートホーム - SenseCAP Watcherを通じて音声で照明、エアコン、カーテンなどのスマートホームデバイスを直接制御し、手動操作にさよならを告げます。

参考資料​

Loading Comments...