Skip to main content

SenseCAP Watcher：主动问候你的 AI 助手

Imagine this

想象一下：当你步入书房，桌上的 SenseCAP Watcher 立即感知到你的到来。屏幕亮起，它微笑着向你致意，并显示出今天的待办事项——无需你开口，甚至不需要任何操作。

SenseCAP Watcher，正重新定义人与设备的交互方式。

它具备独特的“无感触发”对话能力，可在你靠近时主动发起交互。这不仅是一次技术升级，更是一种交互逻辑的根本转变：主动权首次由人移交至机器，实现了从“人适应机器”到“机器主动适应人”的体验跨越。

Watcher 的“慧眼”依托于强大的端侧 AI 视觉芯片（Himax），使其能够在本机快速完成物体识别与目标追踪。结合可扩展的小智助手固件，它不止是一枚摄像头，更是一位可持续进化、懂你所需的专属AI助手。

核心优势​

SenseCAP Watcher

一款集端侧AI视觉与灵活开发环境于一身的智能设备，旨在帮助你轻松构建与部署个性化AI应用。

  • 离线运行的“火眼金睛”：高效端侧视觉处理

    搭载高性能 AI 视觉芯片（Himax），所有图像处理均在设备本地完成。响应迅捷，同时更好地保护您的隐私——数据无需上传至云端。

  • 零代码构建 AI 应用，像搭乐高一样简单

    借助 SenseCraft AI 平台，只需鼠标点点操作即可部署AI模型，快速搭建适用于特定场景的应用程序。AI 模型部署变得如修图般轻松，完全无需编程基础。

  • 灵活集成平台与工具

    基于小智 MCP 架构，可自由定义新的 AI 工具，并快速接入本地或云端服务，无缝融入现有智能系统。

  • 硬件可扩展：额外接口支持

    提供 GPIO 扩展接口，可轻松连接各类传感器与执行器，实现深度定制，支持更多创意落地。

工作原理​

SenseCAP Watcher 可视为一个“模块化”的智能机器人，其核心由三大组件协同运作：

  1. 硬件核心（ESP32S3）：驱动底层硬件，处理摄像头数据，并稳定连接云端服务。
  2. 视觉神经（Himax AI 芯片）：强大的端侧AI视觉处理单元，赋予设备实时环境感知能力。
  3. 云端大脑（后台服务）：负责AI角色设定、MCP工具调度与设备统一管理。

整个过程可简化为：

Watcher 的“眼睛”（摄像头）捕捉图像 → “视觉神经”（Himax 芯片）进行识别、唤醒小智 → “大脑”（后台 AI、MCP 服务）理解情境并做出响应。

这种模块化设计带来高度的灵活性与扩展性。

watcher-chatbot-diagram

使用指南​

三步快速上手​

只需三步，即可激活你的 Watcher：

  1. 启动设备：通过 Type-C 数据线供电；若使用电池，长按侧边按键开机。
  2. 连接网络：设备启动后将生成一个 Wi-Fi 热点，使用手机或电脑连接此热点。｜「Watcher 网络配置」
  3. 配置与激活：在浏览器中访问 192.168.4.1，为 Watcher 配置 Wi-Fi，并按照指引在 SenseCraft AI 平台上完成激活。｜「Watcher Web 控制台」
激活提示

若无法成功激活，请确认验证码填写正确且设备鉴权信息未丢失。以下操作通常会导致鉴权信息丢失：

  1. 固件被其他程序覆盖。
  2. 进行大版本固件更新前未备份鉴权信息。
  3. 刷写了全新的固件。

如需重新激活，请将设备的 STA Mac 地址（可从串口日志中获取）发送至 [email protected] 获取协助。请参阅：烧录认证信息。

您可以通过以下视频观看详细教程：

模型及固件更新：定制专属技能​

开发者或高级用户可通过烧录不同的模型或固件，为 Watcher 赋予更强大的专属能力。

1. 烧录 AI 模型​

借助内置的 Himax 端侧 AI 视觉芯片，您可以通过 SenseCraft AI 平台轻松部署新的识别模型：

  • 将电脑连接至 Watcher 底部的 Type-C 接口。

  • 在 SenseCraft AI 平台中选择 Workspace 下的 SenseCAP Watcher，并选择序列号较小的端口进行模型烧录。

    connect-watcher-himax

  • 烧录完成后若摄像头未正常工作，请尝试重启设备。

2. 烧录 XiaoZhi 固件​

  • 最新固件 v1.8.8：下载地址

  • 解压下载的固件包，使用 esptool.py 工具执行烧录：

    esptool.py -p /dev/ttyACM0 -b 2000000 write_flash 0 merged-binary.bin

开始对话​

现在您已对 SenseCAP Watcher 的基本使用有了初步了解，接下来可以探索其对话与工具调用能力，例如调用摄像头功能或设置主动交互的时间策略。

例如我的角色名字设置为Watcher，设置如下：

watcher-agent-role

唤醒设备​

设备在没有唤醒时，会保存待机的状态，从而不会监听周围的对话。当设备被唤醒后，它会开始监听周围的对话，并进行对话或者根据用户指令执行相应的操作。

目前的视觉唤醒功能提供以下配置选项：

  • 检测目标编号 (target)：指定待检测的目标编号。该编号取决于所使用的视觉模型，默认值为 0。
  • 检测持续时间 (duration)：单位为秒，用于调节视觉唤醒的灵敏度。默认值为 1 秒（该默认值未包含 1 秒防抖处理）。
  • 置信度阈值 (threshold)：视觉模型识别物体的置信度下限，用于调节模型检测灵敏度。以百分比表示，默认值为 75%。
  • 冷却时间 (interval)：单位为秒，表示一次对话结束后再次触发前所需等待的时间，用于避免物体触发频繁打断。默认值为 8 秒。

例如，你可以通过修改 threshold 参数来调整模型的灵敏度。例如你觉得当前的阈值设置，太严格了，你只需要对 Watcher 说：“请设置置信度阈值为 60%”。

调用摄像头​

对着 Watcher 说：

  • 请打开摄像头
  • 你看看你能看到什么?
  • 你面前有什么东西？

资源​

以下是一些进阶资源，帮助您根据自身需求进一步拓展 SenseCAP Watcher 的应用边界，无论是在本地化部署、隐私保护还是构建个性化知识库方面，都能找到对应的实现方案：

  • AI 对话驱动全屋智能 - 通过 SenseCAP Watcher 直接语音控制灯光、空调、窗帘等智能家居设备，彻底告别手动操作。

引用​

Loading Comments...