Skip to main content

使用 SenseCAP A1101 训练水表数字识别模型

概述

在本教程中,我们将教您如何为特定应用训练自己的仪表模型,然后轻松将其部署到 SenseCAP A1101。让我们开始吧!

硬件准备

软件准备

在本教程中我们将使用以下软件技术

现在让我们设置软件。Windows、Linux 和 Intel Mac 的软件设置相同,而 M1/M2 Mac 的设置会有所不同。

tip

**什么是 SenseCraft Model Assistant?**Seeed Studio SenseCraft Model Assistant 是一个专注于嵌入式 AI 的开源项目。我们针对实际场景优化了 OpenMMLab 的优秀算法,使实现更加用户友好,在嵌入式设备上实现更快、更准确的推理。

Windows、Linux、Intel Mac

  • 步骤 1. 确保计算机上已安装 Python。如果没有,请访问此页面下载并安装最新版本的 Python

  • 步骤 2. 安装以下依赖项

pip3 install libusb1

M1/ M2 Mac

  • 步骤 1. 安装 Homebrew
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  • 步骤 2. 安装 conda
brew install conda
  • 步骤 3. 下载 libusb
wget https://conda.anaconda.org/conda-forge/osx-arm64/libusb-1.0.26-h1c322ee_100.tar.bz2
  • 步骤 4. 安装 libusb
conda install libusb-1.0.26-h1c322ee_100.tar.bz2
caution

在更改固件执行以下操作之前,您需要确保 BootLoader 版本大于 2.0.0。如果不确定,请按照此部分中提到的步骤检查 BootLoader 版本,如果版本小于 2.0.0,请按照此部分中提到的步骤更新 BootLoader

1. 收集图像数据

  • 步骤 1. 使用 USB Type-C 线缆将 SenseCAP A1101 连接到 PC
  • 步骤 2. 双击启动按钮进入启动模式

之后您将在文件资源管理器中看到一个名为 SENSECAP 的新存储驱动器

一旦 uf2 文件完成复制到驱动器中,驱动器将消失。这意味着 uf2 已成功上传到模块。

  • 步骤 4. 复制并粘贴此 Python 脚本到您 PC 上新创建的名为 capture_images_script.py 的文件中

  • 步骤 5. 执行 Python 脚本开始捕获图像

python3 capture_images_script.py

默认情况下,它将每 300ms 捕获一张图像。如果您想更改此设置,可以按以下格式运行脚本

python3 capture_images_script.py --interval <time_in_ms>

例如,每秒捕获一张图像

python3 capture_images_script.py --interval 1000

执行上述脚本后,SenseCAP A1101 将开始从内置摄像头连续捕获图像,并将所有图像保存在名为 save_img 的文件夹中

同时,在录制过程中会打开一个预览窗口。

当您捕获了足够的图像后,点击终端窗口并按以下组合键停止捕获过程

  • Windows: Ctrl + Break
  • Linux: Ctrl + Shift + \
  • Mac: CMD + Shift + \

图像收集后更改设备固件

完成数据集图像录制后,您需要确保将 SenseCAP A1101 内的固件更改回原始版本,以便您可以再次加载目标检测模型进行检测。现在让我们来看看步骤。

  • 步骤 1. 如前所述,在 SenseCAP A1101 上进入启动模式

  • 步骤 2. 根据您的设备将此 .uf2 文件拖放到 SENSECAP 驱动器

一旦 uf2 文件完成复制到驱动器中,驱动器将消失。这意味着 uf2 已成功上传到模块。

2. 使用 RoboFlow 生成数据集

Roboflow 是一个基于在线的标注工具。在这里我们可以直接将录制的视频素材导入到 Roboflow 中,它将被导出为一系列图像。这个工具非常方便,因为它可以帮助我们将数据集分配到"训练、验证和测试"中。此外,这个工具还允许我们在标记图像后对这些图像进行进一步处理。而且,它可以轻松地将标记的数据集导出为 COCO 格式,这正是我们所需要的!

  • 步骤 1. 点击这里注册 Roboflow 账户

  • 步骤 2. 点击 Create New Project 开始我们的项目

  • 步骤 3. 填写 Project Name,保持 License (CC BY 4.0)Project type (Object Detection (Bounding Box)) 为默认设置。在 What will your model predict? 列下,填写标注组名称。
  • 步骤 4. 拖放您使用 SenseCAP A1101 捕获的图像
  • 步骤 5. 图像处理完成后,点击 Finish Uploading。耐心等待直到图像上传完成。
  • 步骤 6. 图像上传完成后,点击 Assign Images
  • 步骤 7. 选择一张图像,在数字周围画一个矩形框,选择标签为 digits 并按 ENTER
  • 步骤 8. 对其余图像重复相同操作
  • 步骤 9. 继续标注数据集中的所有图像

  • 步骤 10. 标记完成后,点击 Add images to Dataset

  • 步骤 11. 接下来我们将在"Train、Valid 和 Test"之间分割图像。如果数据集较多,可以是 80/20。如果数据集较少,可以是 85/15。请注意"Train"不应少于 80。
  • 步骤 12. 点击 Generate New Version
  • 步骤 13. 现在您可以根据需要添加 PreprocessingAugmentation。在这里我们将更改 Resize 选项为 192x192

这里我们将图像尺寸更改为192x192,因为我们将使用该尺寸进行训练,这样训练会更快。否则,在训练过程中必须将所有图像转换为192x192,这会消耗更多CPU资源并使训练过程变慢。

  • 步骤14. 接下来,继续使用其余默认设置并点击Generate
  • 步骤15. 点击Export,选择FormatCOCO,选择show download code并点击Continue

这将生成一个代码片段,我们稍后将在Google Colab训练中使用。所以请保持此窗口在后台打开。

在Google Colab上使用SenseCraft Model Assistant进行训练

在我们选择了公共数据集之后,我们需要训练数据集。这里我们使用Google Colaboratory环境在云端执行训练。此外,我们在Colab中使用Roboflow api来轻松下载我们的数据集。

点击这里打开一个已经准备好的Google Colab工作空间,按照工作空间中提到的步骤进行操作,逐个运行代码单元。

注意: 在Google Colab上,在步骤4下的代码单元中,您可以直接复制上面提到的来自Roboflow的代码片段

它将演示以下内容:

  • 设置训练环境
  • 下载数据集
  • 执行训练
  • 下载训练好的模型

3. 部署训练好的模型并执行推理

现在我们将把在训练结束时获得的model-1.uf2移动到SenseCAP A1101中。

  • 步骤3. 双击SenseCAP A1101上的启动按钮进入大容量存储模式

之后,您将在文件资源管理器中看到一个新的存储驱动器显示为SENSECAP

  • 步骤4.model-1.uf2文件拖放到SENSECAP驱动器

一旦uf2文件完成复制到驱动器,驱动器将消失。这意味着uf2已成功上传到模块。

注意: 如果您有4个模型文件准备就绪,您可以逐个拖放每个模型。先放第一个模型,等待它完成复制,再次进入启动模式,放第二个模型,依此类推。如果您只将一个模型(索引为1)加载到SenseCAP A1101中,它将加载该模型。

  • 步骤6. 点击Connect按钮。然后您将在浏览器上看到一个弹出窗口。选择SenseCAP Vision AI - Paired并点击Connect
  • 步骤7. 使用预览窗口查看实时推理结果!

如您在上面看到的,数字正在被检测到,周围有边界框。

4. 在 SenseCAP Mate 上使用 SenseCAP A1101 执行推理

除了在浏览器上执行推理,我们还可以使用 SenseCAP Mate 来实现模型推理,我们将逐步实现它。

  • 步骤 1. 首先,我们需要擦除 A1101 的固件,这可以通过使用 erase_model.uf2 来实现。然后将 A1101 固件升级到最新版本,并将水表数字识别模型放入 A1101

    固件: erase_model.uf2SenseCAP-A1101_v02-00.uf2

    模型: water_meter.uf2pfld_meter.uf2digital_meter.uf2

    注意: water_meter 和 digital_meter 在桌面上都识别为模型名称 user-define6,在 APP 端显示为 digital_meter。pfld_meter 识别的模型名称为 user-define5,在 APP 端显示为 Point_meter。用户在部署过程中需要根据实际使用需求上传模型

  • 步骤 2. 点击这里 打开摄像头流的预览窗口

  • 步骤 3. 点击 Connect 按钮。然后您将在浏览器上看到一个弹出窗口。选择 SenseCAP A1101 - Paired 并点击 Connect

  • 步骤 4(可选). 在 Model 中选择 Digital Meter,在 Algorithm 中选择 Digital Meter,点击 Save 然后点击 Invoke。现在我们可以使用预览窗口查看实时推理结果。
  • 步骤 5. 打开 SenseCAP Mate 并与您自己的 A1101 配对,选择与上述相同的 Model 和 Algorithm。然后点击 General 并点击底部的 Detect。
  • 步骤 6. 如下所示,AI Preview 显示数字表识别结果。

完成上述步骤后,我们将尝试将我们自己的 A1101 添加到设备中。通过以下 4 个步骤,我们可以通过像 SenseCAP Mate 这样的云平台随时随地查看设备识别的结果数据。

资源

技术支持与产品讨论


感谢您选择我们的产品!我们在这里为您提供不同的支持,以确保您使用我们产品的体验尽可能顺畅。我们提供多种沟通渠道,以满足不同的偏好和需求。

Loading Comments...