Skip to main content

使用工具模块

在部署流程中，你可以一键插入 SenseCraft AI 集成功能。它们既简化创作体验，也简化终端用户的部署过程。

AI 视觉​

在支持的硬件上部署用于目标识别、检测、分类等任务的 AI 视觉模型。推理结果可根据配置通过 MQTT、GPIO 或串口（Serial）实时流式传输。

该工具模块目前支持检测和分类。分割和姿态估计计划在后续版本中提供。

支持的设备​

选择模型​

  • SenseCraft AI model： 从模型库中选择社区公开共享的高质量模型。
  • My model： 从你的私有已保存列表中选择模型。
  • Upload model： 上传在第三方平台训练的模型文件。你需要提供模型名称、任务类型（Task）、模型类别（Class ID 和 Class Name）、附加模型文件，并选择支持的设备。上传完成后，模型会显示在 My model 下。
  • Train model： 若要训练新模型或基于现有模型再训练，打开训练入口并按照向导操作。完成后，打开 Historical models，选择 Send to SenseCraft，完成上传流程，并将结果保存到 My model。
caution

当你将包含私有模型的应用发布到社区时，该模型会自动变为公开。

选择设备​

在下拉列表中，从该模型支持的设备列表中选择你实际使用的硬件。

推荐参数​

根据你的场景微调推理和设备设置。这些值会在部署时作为默认值写入设备。

  • Confidence threshold： 判断模型是否输出最终预测的标准。提高阈值通常可减少误报；降低阈值通常可减少漏报。
  • IOU threshold： 在检测任务中，IoU 用于比较预测框与真实框。较高的阈值有助于区分重叠目标，但若设置过高，可能在同一目标上产生多个重复框。较低的阈值有助于合并重复框，但若设置过低，可能会把两个相近的目标合并为一个。

输出模式​

  • None： 上电后不会立即开始推理，直到有其他触发条件运行。适用于仅在需要时才运行推理的低功耗场景。
  • MQTT： 上电后立即开始推理，并通过 Wi-Fi 使用 MQTT 发送结果。
    • SenseCraft official service（推荐）： 为你的应用选择或创建一个 Dev Kit，MQTT 将自动完成配置。打开 SenseCraft Data 平台 以查看和处理接收的数据。
    • Third-party service： 使用你自己的或第三方的 MQTT broker，并手动配置参数。
  • GPIO： 使用电平信号驱动 GPIO 引脚。
    • Trigger conditions： 使用对象、条件和置信度阈值来定义规则。
    • Trigger actions： 当条件满足时，设备可以将引脚拉高/拉低、将抓拍保存到 SD 卡、点亮 LED 等。
  • Serial： 使用 SSCMACore library 通过 UART（GPIO）、I2C 或 SPI 导出推理数据。
**UART (GPIO)**
Baud Rate Value: 921600
Data Format: 8N1
TX: GPIO43
RX: GPIO44

**I2C**
Slave Address: 0x62
SDA: GPIO5 (PULLUP)
SCL: GPIO6 (PULLUP)
Protocol:
- READ：0x10，0x01, LEN << 8, LEN & 0xff
- WRITE: 0x10，0x02, LEN << 8, LEN & 0xff
- AVAIL(to read): 0x10，0x03
- RESET(clear buffer): 0x10，0x06

**SPI**
Slave CPOL0 CPHA0
MOSI GPIO9 (PULLUP)
MISO GPIO8,
SCLK GPIO7 (PULLUP)
CS GPIO4 (PULLUP)
Protocol:
- READ：0x10，0x01, LEN << 8, LEN & 0xff
- WRITE: 0x10，0x02, LEN << 8, LEN & 0xff
- AVAIL(to read): 0x10，0x03
- RESET(clear buffer): 0x10，0x06

AI 音频​

在支持的硬件上部署用于语音识别的 AI 音频模型。结果可根据配置通过 MQTT、GPIO 或串口进行流式传输。

支持的设备​

选择模型​

  • SenseCraft AI model： 从库中选择社区共享的模型。
  • My model： 从你的私有列表中选择。
  • Upload model： 上传在第三方平台训练的模型文件。提供模型名称和类别（Class ID 和 Class Name）。上传完成后，模型会显示在 My model 下。
  • Train model： 训练一个新的或更新后的模型，然后像视觉模型一样，从 Historical models 中将其发送到 SenseCraft。
caution

当你将包含私有模型的应用发布到社区时，该模型会自动变为公开。

选择设备​

音频模型目前仅支持 XIAO ESP32S3 Sense。

推荐参数​

根据你的场景微调参数值。

  • Confidence threshold： 与视觉模型中的作用相同；用于调节漏检与误检之间的权衡。
  • Output mode： 音频模型的默认输出路径。

AI 振动​

通过学习“正常”振动并标记偏差来部署振动异常检测。

支持的设备​

推荐参数​

根据你的设置调整采样、上电行为、GPIO 和输出。

  • Sampling window： 每单位时间的采样数。窗口过大会减慢推理；过小则可能无法充分学习正常振动。
  • Enable default power-on inference： 关闭时，上电不会自动开始推理；在低功耗场景下可使用外部触发。
  • GPIO： 在检测到异常振动时驱动引脚——例如设置电平或切换 LED。
  • Output mode： 振动模型的默认输出路径。

部署容器应用​

几次点击即可将容器应用部署到边缘设备。

精选应用​

内置应用库包括（并在持续扩展）：

  • Home Assistant — 开源家庭自动化中枢
  • Ollama — 在边缘本地运行开源大语言模型
  • OpenClaw — 用于部署和管理容器化边缘应用的开源平台
  • reComputer AI Suite — 针对 reComputer 硬件优化的计算机视觉（CV）、视觉语言模型（VLM）和大语言模型（LLM）

兼容 M1 Gate、Raspberry Pi 4 / 5、NVIDIA Jetson 和 Seeed reComputer。

如何与 SenseCraft Fleet 协同工作​

容器应用在 SenseCraft Fleet 上进行管理，并通过 SenseCraft AI 部署（位于 Applications 下）：

  • SenseCraft Fleet 是容器镜像所在的位置——你在这里上传镜像、定义其配置模式，并绑定你的设备。
  • SenseCraft AI 是你从应用库中选择应用、选择目标设备、进行配置并触发部署的平台。

你的 SenseCraft AI 账号会自动与 SenseCraft Fleet 关联；已绑定的设备和应用会在两个平台之间保持同步。

支持的平台​

应用是特定于平台的——镜像和目标设备必须匹配：

  • Linux / ARM64 —— 例如 Seeed reComputer、Raspberry Pi 4 / 5、NVIDIA Jetson、M1 Gate
  • Linux / AMD64 —— 即将支持

配置工作流​

选择应用： 从 SenseCraft Fleet 上的应用库（内置目录）中选择。如果你希望上传自定义容器应用，需要通过 SenseCraft Fleet 添加。

配置应用： 每个应用都会暴露其作者在 SenseCraft Fleet 上定义的配置项。通常你不需要配置任何内容，除非你有特殊需求。

部署工作流​

步骤 1 — 选择应用： 点击 Deploy Container App。SenseCraft AI 会从 SenseCraft Fleet 加载你的完整应用库（内置目录加上你上传的任何自定义应用），并以名称、图标和描述的形式展示每个应用。

步骤 2 – 绑定设备： 如果你已经有已绑定的设备，请跳到步骤 3。否则，请给设备上电，将其连接到网络，然后根据你的硬件类型进行绑定：

  • 运行 Seeed 出厂镜像的 Seeed 设备： 输入设备 CPU ID 或 MAC 地址 的后 6 位即可立即绑定。
  • 没有出厂镜像的 Seeed 设备，或第三方设备： 获取设备的 IP 地址，打开终端并通过 SSH 登录，然后运行绑定流程中显示的绑定命令。

绑定完成后，设备会出现在你的已绑定设备列表中。

步骤 3 — 选择目标设备： 从与应用平台兼容的已绑定设备列表中进行选择。不兼容的设备会被自动过滤掉。

步骤 4 — 配置应用： 填写应用作者暴露的配置项。有关控件类型和默认值，请参见上面的配置工作流部分。

步骤 5 — 一键部署： 点击 Deploy。SenseCraft AI 会显示实时进度指示器，并在每个阶段流式显示状态。如果任何步骤失败，弹窗中会显示具体错误，方便你修复后重试。使用新参数重新部署即可更新现有部署——之前的部署会被自动替换。

note

目前支持单镜像 Docker 应用。Docker Compose（多容器应用）已在规划中。

烧录固件​

直接从浏览器向 ESP32 设备烧录预编译固件二进制文件，无需安装单独的烧录工具。当你的固件已经编译好并包含所有参数时，请使用此功能。

支持的设备：

前提条件：​

一个合并后的 .bin 文件。 如果你有单独的 bootloader、分区和应用二进制文件，请在上传前将它们合并。

  • Arduino IDE 2.x： 只有在运行 Sketch → Export Compiled Binary 时才会生成合并后的二进制文件。输出的 *.ino.merged.bin 会写入到与你的 .ino 文件同级的 build/ 文件夹中。
  • 旧版 Arduino IDE / 手动合并： Export Compiled Binary 会生成单独的 bootloader、分区和应用 .bin 文件——在上传前使用 esptool.py merge_bin 将它们合并。请参阅 Seeed Studio 论坛指南：How to export a single merged .bin file from Arduino IDE。

配置工作流​

  1. 点击 Upload firmware 并上传你的 .bin 文件。
  2. 从下拉菜单中选择设备类型。

部署工作流​

  1. 将设备连接到你的电脑。
  2. 点击 Flash firmware。按钮会显示当前阶段，并在下方显示进度条和调试日志：连接串口 → 检测设备 → 烧录 → 重启。
  3. 烧录完成后，在预览窗口中验证行为。

如果任何步骤失败，错误弹窗会解释原因，方便你修复后重试。

Node-RED​

Node-RED 模块可帮助你为 reCamera 构建可视化逻辑流程。

官方资源​

支持的设备​

准备你的工作流​

添加 Node-RED 模块后，可以通过以下任一方式配置流程：

  1. 创建新工作流： 连接到 reCamera（有线或无线），打开其 Dashboard，并在线编辑。
  2. 上传本地文件： 上传你已经构建好的 JSON 流程。系统会验证文件类型，以确保可以可靠解析。

选择 AI 视觉模型​

JSON 流程不会嵌入模型二进制文件。请指定此流程应使用的模型：

  • 设备内置： 使用预装在 reCamera 上的模型，包括用于分类、检测、分割和姿态的 YOLO11n 变体。
  • 公共模型： 浏览其他人为 reCamera 共享的 SenseCraft 公共模型。
  • 我的模型： 从你的私有库中选择。
caution

如果你在 My model 下使用私有模型并将应用发布到公共社区，该模型也会被公开。在发布前系统会提示你确认。

Aily Blockly​

Aily Blockly 是一个可视化编程环境。使用此模块，你可以一键将你在 Aily Blockly 中构建的程序烧录到边缘设备上。

官方资源​

支持的设备​

绑定项目 ID​

输入指向你公开 Aily Blockly 模板的项目代码。

如何获取 Project ID​

  1. 在 Aily Blockly 中构建你的项目，然后点击 Build (F5) 进行编译。
  2. 编译成功后，打开 Cloud Space 面板并点击 Sync this project to cloud。
  3. 你的 Project ID 会显示在标注区域（ID: …）中，只使用其中的数字部分。
  4. 每当你修改项目时重复上述步骤，以确保云端副本保持最新。
How to get an Aily Blockly Project ID
Loading Comments...