Skip to main content

スマートリテール音声AI

Seeedのスマートリテール音声AIソリューションを活用して、店舗内の顧客会話を捕捉・分析しましょう。当社のエッジAI技術により、デバイス上での音声テキスト変換処理が可能になり、クラウドサービスに依存することなく音声データを実用的な洞察に変換できます。小売環境に特化したオフラインAI搭載音声分析により、顧客体験を向上させ、店舗運営を最適化し、貴重なフィードバックを獲得できます。

スマートリテール音声AI

スマートリテール音声AI

エッジデバイスとSenseCraft Voiceを使用して店舗内音声分析パイプラインを構築し、現場で会話を捕捉し、デバイス上で音声テキスト変換を実行し、顧客の声を構造化データに変換します。

  • エッジでのデバイス上音声テキスト変換

    SenseCraft Voiceは店舗内のエッジデバイス上で直接動作し、音声活動検出と音声認識をローカルで処理します。すべての音声はエッジで処理されるため、リアルタイム転写生成におけるクラウド接続への依存を大幅に削減します。

  • 遠距離・小売対応音声捕捉

    このソリューションは、騒音の多い小売環境での遠距離音声捕捉用に設計されています。マイクアレイ、ビームフォーミング、ノイズ抑制をサポートし、背景音楽や周囲の雑談があっても実際の顧客とスタッフの会話に焦点を当てます。

  • プライバシー優先のエッジアーキテクチャ

    音声はエッジデバイス上でローカルに転写され、テキストとメタデータのみが上流に送信されるため、小売業者はプライバシーとコンプライアンスリスクをより適切に制御でき、クラウドコストとネットワーク要件を低く抑えることができます。

  • 会話からデータ駆動型意思決定へ

    SenseCraft Voiceによって生成された転写は、構造化された分析可能なデータになります。小売業者はサービス品質を測定し、よくある質問や問題点を特定し、スクリプト、ポリシー、全体的な店舗体験を継続的に改善できます。

入門ガイド

このセクションでは、SeeedのreRouterとreSpeaker XVF3800マイクアレイを使用してスマートリテール音声AIソリューションをセットアップする手順をご案内します。

1. ハードウェア要件

このガイドでは、SeeedのreRouterとreSpeaker XVF3800マイクアレイを使用してスマートリテール音声AIソリューションを構築する方法を説明します。

reRouter(エッジコンピュート)reSpeaker XVF3800(音声捕捉)
reRouter CM4reSpeaker XVF3800

役割: 処理ユニット

技術仕様:

  • RAM: 4GB(最小要件)
  • ストレージ: 32GB eMMC
*注:これらの仕様を下回る性能は検証されていません。

役割: 音声捕捉

技術仕様:

  • モデル: XVF3800 4マイクアレイ
  • 機能: ノイズ抑制、AEC、ビームフォーミング

ハードウェアセットアップ

product-rerouter-respeaker

1.1 reRouterファームウェアの取得

reRouter用のOpenWrtファームウェアには2つのバージョンがあります:
グローバルユーザー向けと、中国本土のユーザー向けに最適化されたものです。

現在のファームウェアは**OpenWrt 24.10.3(ビルド r28872)**をベースにしています。

フラッシュ手順の詳細については、reRouterフラッシュガイドを参照してください。

注意: ガイドページのファームウェアではなく、上記で提供されているファームウェアを使用してください。

1.2. ハードウェア接続

reRouterを以下のように接続してください:

  • インターネットアクセス: ルーター/モデムからWANポートにイーサネットケーブルを接続します。
  • ホスト接続: OpenWrt-XXXXという名前のWi-Fiホットスポットにワイヤレス接続するか、イーサネット経由でコンピューターをLANポートに接続します。
reRouter hardware connections: LAN port connects to your host computer for configuration; WAN port connects to the internet.
  • WANポート:インターネットに接続します。
  • LANポート:設定用にホストコンピューターに接続します。

1.3. reSpeaker XVF3800セットアップ

reSpeaker XVF3800マイクアレイをUSB経由でホストデバイスに接続して設定します。

  1. リポジトリをクローンしてコントロールフォルダーに移動:

デバイスに応じて、<YOUR_HOST_DIR>をシステムに対応するフォルダー(例:linux_x86_64rpi_64bitmac_arm64、またはjetson)に置き換えてください。

git clone https://github.com/respeaker/reSpeaker_XVF3800_USB_4MIC_ARRAY.git
cd reSpeaker_XVF3800_USB_4MIC_ARRAY/host_control/<YOUR_HOST_DIR>
  1. 設定シーケンスの実行:

実行権限を付与し、以下の3つのコマンドを実行してデバイスを初期化します(Linuxでは必要に応じてsudoを使用):

chmod +x ./xvf_host

# 1. Clear existing configuration
sudo ./xvf_host clear_configuration 1

# 2. Enable specific audio manager setting
sudo ./xvf_host audio_mgr_op_r 8 0

# 3. Save configuration
sudo ./xvf_host save_configuration 1

2. ソフトウェアインストール

2.1. 前提条件

開始前に、以下の条件が満たされていることを確認してください:

  • アクセス: SSH経由でのOpenWrtデバイスへのrootアクセス(例:ssh [email protected])。
  • ネットワーク: OpenWrtデバイスが安定したインターネット接続を持っている。
  • オーディオ: reSpeaker XVF3800がreRouterに接続されている。

2.2 デバイスへのアクセス

コンピュータがreRouterに接続されたら(LANまたはWi-Fi経由)、以下のデフォルト設定を使用してシステムにアクセスできます:

  • SSHアクセス

デフォルトでは、rootユーザーにパスワードは設定されていません。

注意

OpenWrtのWebインターフェースを使用してネットワーク設定を構成することもできます。これには、reRouterをWi-FiまたはEthernetネットワークに接続してインターネットアクセスを提供することも含まれます。

  • ブラウザを開いて次のURLにアクセス:http://192.168.49.1
  • ユーザー名:root
  • パスワード:(なし/デフォルトで空)

中国語などの他の言語サポートが必要な場合は、Webインターフェースまたは SSH 経由で luci-i18n-base-zh-cn パッケージをインストールできます。

opkg update
opkg install luci-i18n-base-zh-cn
重要

以下のインストール手順に進む前に、reRouterがインターネットにアクセスできることを確認してください (例:SSHターミナルで ping google.com または ping openwrt.org を実行)。

2.3 ステップバイステップインストール

OpenWrtデバイスへのSSH接続を確立した後、以下のコマンドを順次実行してください。

ステップ1:DockerとDependenciesのインストール

このステップでは、コンテナランタイム環境と必要なツール(ファイル検証用のSHA-256チェックサムユーティリティを含む)をインストールします。

# 1. Update the local package list
opkg update

# 2. Install Docker core components
# Note: On some systems, you might need to install these separately: dockerd, docker, containerd, runc
opkg install dockerd docker containerd runc

# 3. Install utility packages
opkg install wget-ssl unzip ca-certificates

# 4. Enable and start the Docker daemon service
/etc/init.d/dockerd enable
/etc/init.d/dockerd start

# Optional: verify downloaded files
# sha256sum <filename>
ステップ2.2:データディレクトリと設定の準備

SenseCraftコンテナに必要な永続ストレージディレクトリを作成し、デフォルト設定ファイルをダウンロードします。

# 1. Create required application data directories
mkdir -p /data-iot/respeaker/recordings \
/data-iot/respeaker/models \
/data-iot/respeaker/voiceprints \
/data-iot/respeaker/logs

# 2. Navigate to the base directory
cd /data-iot/respeaker

# 3. Download the configuration file
wget -q -O config.yaml 'https://appstore.seeed-fleet.com/config.yaml'
ステップ2.3:モデルのダウンロードと展開

Seeed Studioサーバーから事前訓練されたASRモデルパッケージを直接ダウンロードし、SHA-256を使用してその整合性を検証し、展開します。

ファイルURL
models.ziphttps://files.seeedstudio.com/wiki/solution/ai-sound/reRouter-firmware-backup/models.zip
期待されるSHA-256ハッシュ7b9e7606a2ddcad56f3f72a77b16eb2c60437ae4bfc3f1423bd33db177385c9d

SSH経由でOpenWrtホスト上で以下のコマンドを実行してください:

# 1. Navigate to the base directory
cd /data-iot/respeaker

# 2. Define the Model URL
MODEL_URL="https://files.seeedstudio.com/wiki/solution/ai-sound/reRouter-firmware-backup/models.zip"

# 3. Download the large model package.
# -c allows the download to resume if interrupted.
wget -O models.zip -c "$MODEL_URL"
echo "Model package download completed. Check file size is approximately 500MB."

# 4. Verify the file integrity using SHA-256 Checksum
# The result MUST match the expected hash above.
sha256sum models.zip

# 5. Extract the model package into the 'models' directory
unzip -o models.zip

# 6. Clean up the temporary ZIP file
# rm -f models.zip

# 7. Verify the model files are present
ls -l /data-iot/respeaker/models/
ステップ2.4:オーディオデバイス権限の設定

Voice Clientコンテナはオーディオデバイスへの特権アクセスが必要です。デバイスファイルに適切な権限があることを確認してください。

# 1. Check for audio devices
ls -l /dev/snd/

# 2. Set read/write permissions for all users on audio device nodes
chmod -R 666 /dev/snd/*
ステップ2.5:Dockerコンテナのデプロイ

イメージ変数を定義し、必要な3つのサービス(sensecraft-voice-clientsensecraft-asr-serverwatchtower)を起動します。

# Define Image Variables
VOICE_CLIENT_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/sensecraft-voice-client:v0.0.2"
ASR_SERVER_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/sensecraft-asr-server:latest"
WATCHTOWER_IMAGE="sensecraft-missionpack.seeed.cn/respeaker/containrrr/watchtower:latest"

# 1. Pull Images
docker pull $VOICE_CLIENT_IMAGE
docker pull $ASR_SERVER_IMAGE
docker pull $WATCHTOWER_IMAGE

# 2. Stop and remove any containers with the same names
docker rm -f sensecraft-voice-client sensecraft-asr-server watchtower

# 3. Launch sensecraft-voice-client
docker run -d --name sensecraft-voice-client \
--restart=unless-stopped \
--privileged \
--device /dev/snd \
--network host \
--group-add audio \
--group-add video \
--cap-add SYS_ADMIN \
--cap-add SYS_RAWIO \
-e TZ=Asia/Shanghai \
-e AUDIO_CARD_ID=1 \
-e AUDIO_DEVICE_ID=0 \
-v /etc/wpa_supplicant:/etc/wpa_supplicant \
-v /etc/network:/etc/network \
-v /var/run/dbus:/var/run/dbus \
-v /dev:/dev \
-v /run/udev:/run/udev:ro \
-v /proc:/proc:ro \
-v /sys:/sys:ro \
-v /data-iot/respeaker/recordings:/app/recordings \
-v /data-iot/respeaker/voiceprints:/app/voiceprints \
-v /data-iot/respeaker/logs:/app/logs \
-e WIFI_INTERFACE=wlan0 \
-e WIFI_CONFIG_PATH=/etc/wpa_supplicant \
$VOICE_CLIENT_IMAGE

# 4. Launch sensecraft-asr-server (model server)
docker run -d --network host \
-v /data-iot/respeaker/models:/app/models \
-v /data-iot/respeaker/voiceprints:/app/data \
--restart=always \
--name=sensecraft-asr-server \
$ASR_SERVER_IMAGE

# 5. Launch watchtower (for continuous container monitoring and update)
docker run -d --name watchtower \
--restart always \
-v /var/run/docker.sock:/var/run/docker.sock \
$WATCHTOWER_IMAGE \
--cleanup -i 60 sensecraft-asr-server sensecraft-voice-client
3. 検証

デプロイメントの最終状態を確認します。

# Check container status (All three should show Status: Up)
docker ps

# Check the voice client logs for successful initialization and audio device detection
docker logs sensecraft-voice-client

ログが重大なエラーなしに正常な開始を示している場合、SenseCraftサービスは正常にデプロイされています。


すべての設定、権限、ネットワーク構成がシステムによって完全に読み込まれ、認識されるように、デバイスを再起動することを強く推奨します。

reboot

再起動後、http://192.168.49.1:8090にアクセスして、リアルタイムASR転写とデバイス設定のためのEdge Clientインターフェースにアクセスできます。SenseCraft Voiceプラットフォームの詳細な使用方法については、以下のユーザーガイドセクションを参照してください。

SenseCraft Voice:エッジ・トゥ・クラウドプラットフォーム概要

SenseCraft Voiceは、エッジ(reRouter)で取得された生のオーディオデータを、強力なAI分析と集中管理を通じて実用的なビジネスインテリジェンスに変換するよう設計された最先端のプラットフォームです。

このプラットフォームの独自のエッジクラウドアーキテクチャは、エンタープライズグレードのオーディオ監視ソリューションに対して、比類のない信頼性、速度、分析の深さを提供します。

機能価値提案主な利点
堅牢なエッジ処理継続的な動作と低遅延を保証します。音声ASRと認識はreRouter上でローカルに実行され、ネットワーク障害時でもリアルタイム応答とデータ収集を確保します。
深いAIカスタマイゼーションプラットフォームを特定のビジネスニーズと専門用語に適応させます。管理者は、AI分析を指示し、ビジネス言語に特化した正確なイベント検出を確保するために、カスタムキーワード、同義語、AIプロンプトを定義できます。
詳細な位置マッピング大規模デプロイメント管理を簡素化します。混乱しやすいMACアドレスを超えて、店舗、場所、デバイス名による数千のエッジデバイスの階層組織をサポートし、簡単なフィルタリングとレポート作成を可能にします。
実用的なダッシュボード即座のビジネス洞察とパフォーマンス追跡を提供します。集中ダッシュボードはマルチストアフィルタリング、リアルタイムデバイスオンライン率キーワードホットスポット分析を特徴とし、運用状況とビジネスイベントを即座に監視します。

SenseCraft Voice ソリューションは、リアルタイムなローカル処理と集中管理の両方を確保する堅牢なエッジクラウドアーキテクチャ上に構築されています。このサービスは、reRouter 上で動作するエッジサイドクライアントと、クラウド/サーバーサイド管理プラットフォームの2つの主要コンポーネントで構成されています。

ユーザーガイド

エッジサイドクライアント(reRouter)アクセス

エッジクライアントは、リアルタイム検証とローカルセットアップに不可欠です。

  • アクセス: ウェブブラウザを開き、reRouter の IP アドレスのポート 8090 にアクセスします:http://192.168.49.1:8090
  • 主要機能: インターフェースは、リアルタイム ASR 転写(音声入力の確認用)、声紋認識(話者識別)の制御、およびデバイス設定(ネットワーク設定、上流サーバーアドレス)を提供します。
モジュール名 説明 インターフェーススクリーンショット
音声 ASR

説明: ローカル自動音声認識(ASR)サービスの現在の動作状況を表示します。

目的: 検出された音声のリアルタイム転写を提供し、ローカル音声入力と認識精度の確認に不可欠です。

Voice ASR Module Interface

図 1:音声 ASR モジュール

声紋認識

説明: 声紋認識システムを管理・監視します。

目的: 音声録音から自動的に固有の声紋を生成し、話者の区別と識別を可能にします。

Voiceprint Recognition Module Interface

図 2:声紋認識モジュール

デバイス状態と設定

説明: reRouter の動作状況に関する詳細情報を提供し、主要パラメータの変更を可能にします。

目的: ネットワーク設定(Wi-Fi)やクラウド通信用の上流サーバーアドレスの変更などの設定更新を可能にします。

Device Status and Configuration Module Interface

図 3:デバイス状態と設定

クラウドサイド管理プラットフォーム

クラウドプラットフォームは5つの主要ナビゲーションエリアに整理されており、強力なデータ分析とシステム設定ツールを提供します。

1. ダッシュボード:一目でわかる洞察

ダッシュボードは運用コマンドセンターであり、集約されたメトリクスとパフォーマンストレンドを提供します:

  • 店舗フィルタリング: 1つまたは複数の店舗を選択してビューを簡単に切り替え、すべてのチャートが即座に更新されます。
  • 分析: 日次収集トレンド(時間別記録)とキーワードホットスポット分析(頻繁にトリガーされるキーワードと関連するデバイス名を表示)を監視します。
Dashboard Main Page
図 4:ダッシュボードインターフェース

2. 記録管理:データ監査とエクスポート

このモジュールは、収集されたすべての音声記録の決定的なビューを提供します。

  • 高度なフィルタリング: デバイス名、店舗名、場所名、または MAC アドレスを使用して正確なデータ取得を行います。検索は "Filter" ボタンをクリックした後にのみ実行され、ユーザーが完全にコントロールできます。
  • エクスポート機能: フィルタリングされたデータを外部使用のために3つの形式で選択・エクスポートできます(一度に1つを選択):Markdownプレーンテキスト(.txt)、またはオリジナル音声ファイル
  • デュアルビュー監査: 転写された対話を確認する会話モードと、オリジナル音声の再生を聞くタイムラインモードを簡単に切り替えできます。このデュアルアプローチにより、転写精度の迅速な検証とインタラクションのコンテキストのより深い理解が可能になります。
  • 明確性: すべての記録ビューは、MAC アドレスよりも識別しやすいデバイス名を優先します。
Record Management Interface
図 5:記録管理インターフェース
sensecraft-voice-record
図 5.1:タイムラインモード

3. AI 分析:履歴とカスタム処理

このエリアは、AI エンジンによる高度な処理のための音声記録の送信を処理します。

  • 履歴セッション: AI 分析エンジンとの過去のインタラクションを確認します。履歴ウィンドウは会話を時系列で表示し、セッションをクリックすると即座に前の会話スレッドが読み込まれて確認できます。
  • 処理: 現在選択されている AI プロンプトに基づいて、フィルタリングされた記録を AI 処理に送信します。
AI Analysis Interface
図 6:AI 分析インターフェース

4. 店舗管理:デバイスと場所の階層

このエリアは、すべてのエッジデバイスの組織階層を設定・維持するために必要なツールを提供します。

  • 階層ビュー: 店舗、その特定の店内場所、および関連する reRouter デバイスを簡単に管理します。
  • 集中制御: デバイスを論理的にグループ化することで、デバイスの展開と設定を合理化します。
Store Management Interface
図 7:店舗管理インターフェース
Device Management Interface
図 8:デバイス管理インターフェース
Specific Location Management Interface
図 9:特定場所管理インターフェース

5. バックエンド設定:システム制御とカスタマイズ

このセクションでは、管理者が AI 処理とイベントトリガーのシステム全体のパラメータを定義できます。

5.1. キーワード設定

録音内の特定のビジネスイベントを識別するためのカスタムキーワードと同義語を定義します。

  • カスタマイズ: イベント検出のためのキーワードとその同義語を定義します。
  • 視覚化: ダッシュボードでの視覚的区別のためにマーキングカラーを割り当てます。
  • 管理: 追加、編集、削除、一括削除をサポートします。
Keywords Backend Management Interface
図 10:キーワード設定インターフェース
5.3. ユーザー管理

ユーザー管理モジュールは、プラットフォームアクセスと権限を制御します。

User Management Interface
図 12:ユーザー管理インターフェース
5.2. AI プロンプト設定

AI が選択された音声記録をどのように処理するかを指示するカスタム AI プロンプトを作成・管理します。

  • 制御: プロンプトの名前、タグ、内容を定義します。一度に1つの有効化されたプロンプトのみが使用可能です。
  • 管理: 追加、編集、削除、一括削除をサポートします。
AI Prompt Editing Interface
図 11:AI プロンプト設定インターフェース
Loading Comments...