Skip to main content

SenseCraft AI 平台上的 Grove Vision AI v2 工作区

入门指南​

连接 Grove-Vision AI v2​

  1. 通过 CSI 连接线将 Grove - Vision AI V2 连接到摄像头。

  1. 通过 USB 将 Grove - Vision AI V2 连接到您的计算机，并选择 USB Single/serial debug unit 进行连接
note

请使用 Chrome、Opera 或 Edge 浏览器将 AI 模型部署到 XIAO ESP32S3 Sense 和 Grove Vision AI v2。

  1. 连接到设备后，它将读取设备信息、模型信息，并运行模型进行推理。用户可以调整置信度和 IoU 设置来微调模型推理的准确性。
  • 置信度：置信度是指模型对其预测结果分配的确定性或概率水平
  • IoU：IoU 用于评估预测边界框与真实边界框相比的准确性

替换 AI 模型​

如果您需要替换设备当前运行的模型，SenseCrfat AI 平台提供两种方式来实现

  1. 选择 SenseCraft AI 平台上的公开可用模型或用户账户下的模型进行替换。

  1. 直接上传模型进行替换。
  • 模型名称：输入名称
  • 模型文件：上传 tflite 格式的模型
  • ID 对象：模型识别的类别

配置​

如果您需要将设备的推理结果推送到您自己的 MQTT 服务或 Sensecraft Data 平台，请配置 Wi-Fi 和 MQTT。接下来，我们将以 Sensecraft Data 平台为例。

  1. 输入有效的 2.4G Wi-Fi。
  2. 访问 SenseCraft Data 平台 并登录。
note

您可以使用同一个账户登录 Sensecraft AI 和 Sensecraft Data 平台。

  1. 访问开发套件页面并点击"创建开发套件"按钮。
  2. 输入设备名称并选择"Grove-Vision AI v2"作为设备类型。

  1. 创建设备后，点击"连接"，然后依次复制并粘贴 Host、Port、clientId、Username 和 Password。

  1. 完成表单后，点击保存按钮。设备成功应用更改后，转到处理页面。您将看到 IP 地址和服务状态：MQTT 已连接。

  1. 现在您可以返回 Sensecraft Data 平台的开发套件页面。点击设备的 EUI 进入设备详情，您将能够看到推理结果。

输出​

设置一个条件，当检测到的目标满足条件时，XIAO ESP32S3 上的黄色 LED 将点亮。

示例：如果设备检测到人脸且置信度大于 43，则点亮设备的黄色 LED

训练​

SenseCraft AI 集成了 YoLo-World，可以根据用户输入的类别快速生成单类 AI 模型，可以直接部署到 Grove-Vision AI v2 设备。

快速生成​

  1. 输入类别，点击快速生成按钮，等待模型生成。

  1. 模型生成后，您可以选择模型并点击部署到设备按钮，将生成的模型刷写到设备上。

  1. 查看推理结果

捕获训练​

快速生成的模型可能准确度不高。您可以点击捕获训练来拍摄和收集目标图像。将收集的图像提交给 Yolo-World 进行优化训练。优化后的模型将具有更好的准确性。

  1. 使用 Grove-Vision AI v2 摄像头对准目标，点击捕获按钮收集图像。

  1. 在捕获的图像中选择并确认目标。

  1. 重复步骤 1-2 收集至少 10 张照片进行训练。收集图像后，点击训练模型按钮。

  1. 模型生成后，选择新生成的模型，将其部署到设备，并检查推理结果。

技术支持​

需要 SenseCAP Indicator 的帮助？我们随时为您提供协助！

Loading Comments...