Edgeimpulse
Edge Impulse
Edge Impulse 是边缘设备机器学习的领先开发平台，对开发者免费，并受到全球企业的信赖。
- 通过 Edge Impulse，软件开发者、工程师和领域专家可以在边缘设备上使用机器学习解决实际问题，无需博士学位或高级嵌入式工程技能。从入门到生产中的 MLOps，Edge Impulse 在从 MCU 到 CPU 的各种硬件上提供最高的效率和速度。
通过 EdgeImpulse 我们可以
- 直接从设备收集数据集
- 从其他来源收集数据集，如 .zip 文件、通过 API 或其他第三方云端摄取
- 创建测试和训练数据并将它们放入不同的标签中
- 训练我们的模型
- 能够选择合适的机器学习算法 - EI 基于我们的数据集提供推荐的机器学习算法
- 将其部署到我们的硬件上
- 具有版本控制的 TinyML 项目协作
- 以及更多帮助您构建 tinyML 应用程序的功能。
快速实践体验
在完整学习 Edge Impulse 流程之前，我们提供了完整的预生成 Arduino 库，您可以通过直接将此 Arduino 程序从草图刷写到 XIAO ESP32S3 Sense 来查看结果。
在 Arduino 上设置 XIAO ESPS3 Sense
在开始使用 Edge impulse 库之前，我们需要在 Arduino IDE 上设置 XIAO ESPS3，请查看这里的指南
编译并上传闪烁示例
// the setup function runs once when you press reset or power the board
void setup() {
// initialize digital pin LED_BUILTIN as an output.
pinMode(LED_BUILTIN, OUTPUT);
}
// the loop function runs over and over again forever
void loop() {
digitalWrite(LED_BUILTIN, HIGH); // turn the LED on (HIGH is the voltage level)
delay(1000); // wait for a second
digitalWrite(LED_BUILTIN, LOW); // turn the LED off by making the voltage LOW
delay(1000); // wait for a second
}
确保在上传前选择正确的开发板和端口。
待办事项
- 在 Arduino IDE 上安装 XIAO ESPS3 开发板
- 在 XIAO ESPS3 上编译并上传 Blink 示例
可用的 Edge Impulse 库
我们也在并行推进，制作一些已经验证并编辑过的 Edge Impulse 导出 Arduino 库，可以直接与 XIAO ESP32S3 Sense 配合使用。当我们使用这些库时，我们对程序有更多控制权，可以做出决策。
如何使用 Edge Impulse Arduino 库
就像通用的 arduino 库一样，我们需要先在 Arduino IDE 上安装它，然后使用示例代码运行演示。
语音关键词识别（Yes & No）Arduino 库
演示
工作原理！
/src/img/KWS_Diagram.png)
步骤 1. 下载 KWS 演示库
下载语音关键词识别（Yes & No）Arduino 库库的 .Zip 文件。
步骤 2. 将 ZIP 库添加到 Arduino IDE
由于您已经下载了 zip 库，打开您的 Arduino IDE，点击 Sketch > Include Library > Add .ZIP Library。
选择您刚刚下载的 zip 文件，如果库安装正确，您将在通知窗口中看到"Library added to your libraries"。这意味着库已成功安装。
步骤 3. 运行推理代码
/* Edge Impulse Arduino 示例
* 版权所有 (c) 2022 EdgeImpulse Inc.
*
* 特此免费授予任何获得本软件及相关文档文件（"软件"）副本的人
* 不受限制地处理软件的权限，包括但不限于使用、复制、修改、合并、
* 发布、分发、再许可和/或销售软件副本的权利，并允许向其提供软件的
* 人员这样做，但须符合以下条件：
*
* 上述版权声明和本许可声明应包含在软件的所有副本或重要部分中。
*
* 软件按"原样"提供，不提供任何形式的明示或暗示保证，包括但不限于
* 适销性、特定用途适用性和非侵权性的保证。在任何情况下，作者或
* 版权持有人均不对任何索赔、损害或其他责任负责，无论是在合同诉讼、
* 侵权行为还是其他方面，由软件或软件的使用或其他交易引起、产生或
* 与之相关。
*
* 此代码由 Marcelo Rovai 改编以在 XIAO ESP32S3 上运行
* 2023年5月29日
* 由 Salman Faris 修改
* 2023年8月14日
*
*/
// 如果您的目标设备内存有限，请删除此宏以节省 10K RAM
#define EIDSP_QUANTIZE_FILTERBANK 0
/*
** 注意：如果您遇到 TFLite 内存分配问题。
**
** 这可能是由于动态内存碎片化造成的。
** 尝试在 boards.local.txt 中定义 "-DEI_CLASSIFIER_ALLOCATION_STATIC"（如果不存在则创建）
** 并将此文件复制到
** `<ARDUINO_CORE_INSTALL_PATH>/arduino/hardware/<mbed_core>/<core_version>/`。
**
** 请参阅
** (https://support.arduino.cc/hc/en-us/articles/360012076960-Where-are-the-installed-cores-located-)
** 查找 Arduino 在您的机器上安装核心的位置。
**
** 如果问题仍然存在，则说明此模型和应用程序的内存不足。
*/
/* 包含文件 ---------------------------------------------------------------- */
#include <XIAO_esp32S3_YesNo_inferencing.h>
#include <I2S.h>
#define SAMPLE_RATE 16000U
#define SAMPLE_BITS 16
/** 音频缓冲区、指针和选择器 */
typedef struct {
int16_t *buffer;
uint8_t buf_ready;
uint32_t buf_count;
uint32_t n_samples;
} inference_t;
static inference_t inference;
static const uint32_t sample_buffer_size = 2048;
static signed short sampleBuffer[sample_buffer_size];
static bool debug_nn = false; // 将此设置为 true 以查看例如从原始信号生成的特征
static bool record_status = true;
/**
* @brief Arduino 设置函数
*/
void setup() {
// 将您的设置代码放在这里，只运行一次：
Serial.begin(115200);
pinMode(LED_BUILTIN, OUTPUT);
// 注释掉下面的行以取消等待 USB 连接（原生 USB 需要）
while (!Serial)
;
Serial.println("Edge Impulse 推理演示");
I2S.setAllPins(-1, 42, 41, -1, -1);
if (!I2S.begin(PDM_MONO_MODE, SAMPLE_RATE, SAMPLE_BITS)) {
Serial.println("初始化 I2S 失败！");
while (1)
;
}
// 推理设置摘要（来自 model_metadata.h）
ei_printf("推理设置：\n");
ei_printf("\t间隔：");
ei_printf_float((float)EI_CLASSIFIER_INTERVAL_MS);
ei_printf(" 毫秒。\n");
ei_printf("\t帧大小：%d\n", EI_CLASSIFIER_DSP_INPUT_FRAME_SIZE);
ei_printf("\t采样长度：%d 毫秒。\n", EI_CLASSIFIER_RAW_SAMPLE_COUNT / 16);
ei_printf("\t类别数量：%d\n", sizeof(ei_classifier_inferencing_categories) / sizeof(ei_classifier_inferencing_categories[0]));
ei_printf("\n2 秒后开始连续推理...\n");
ei_sleep(2000);
if (microphone_inference_start(EI_CLASSIFIER_RAW_SAMPLE_COUNT) == false) {
ei_printf("错误：无法分配音频缓冲区（大小 %d），这可能是由于您的模型的窗口长度造成的\r\n", EI_CLASSIFIER_RAW_SAMPLE_COUNT);
return;
}
ei_printf("录音中...\n");
}
/**
* @brief Arduino 主函数。运行推理循环。
*/
void loop() {
bool m = microphone_inference_record();
if (!m) {
ei_printf("错误：录音失败...\n");
return;
}
signal_t signal;
signal.total_length = EI_CLASSIFIER_RAW_SAMPLE_COUNT;
signal.get_data = µphone_audio_signal_get_data;
ei_impulse_result_t result = { 0 };
EI_IMPULSE_ERROR r = run_classifier(&signal, &result, debug_nn);
if (r != EI_IMPULSE_OK) {
ei_printf("错误：运行分类器失败 (%d)\n", r);
return;
}
int pred_index = 0; // 初始化 pred_index
float pred_value = 0; // 初始化 pred_value
// 打印预测结果
ei_printf("预测 ");
ei_printf("(DSP: %d 毫秒，分类：%d 毫秒，异常：%d 毫秒)",
result.timing.dsp, result.timing.classification, result.timing.anomaly);
ei_printf("：\n");
for (size_t ix = 0; ix < EI_CLASSIFIER_LABEL_COUNT; ix++) {
ei_printf(" %s: ", result.classification[ix].label);
ei_printf_float(result.classification[ix].value);
ei_printf("\n");
if (result.classification[ix].value > pred_value) {
pred_index = ix;
pred_value = result.classification[ix].value;
}
}
// 显示推理结果
if ((pred_index == 0 && (pred_value > 0.8))) {
digitalWrite(LED_BUILTIN, HIGH); //打开
} else if ((pred_index == 2) && (pred_value > 0.8)) {
digitalWrite(LED_BUILTIN, LOW); //关闭
} else {
//无需操作。
}
#if EI_CLASSIFIER_HAS_ANOMALY == 1
ei_printf(" 异常分数：");
ei_printf_float(result.anomaly);
ei_printf("\n");
#endif
}
static void audio_inference_callback(uint32_t n_bytes) {
for (int i = 0; i < n_bytes >> 1; i++) {
inference.buffer[inference.buf_count++] = sampleBuffer[i];
if (inference.buf_count >= inference.n_samples) {
inference.buf_count = 0;
inference.buf_ready = 1;
}
}
}
static void capture_samples(void *arg) {
const int32_t i2s_bytes_to_read = (uint32_t)arg;
size_t bytes_read = i2s_bytes_to_read;
while (record_status) {
/* 一次性从 i2s 读取数据 */
esp_i2s::i2s_read(esp_i2s::I2S_NUM_0, (void *)sampleBuffer, i2s_bytes_to_read, &bytes_read, 100);
if (bytes_read <= 0) {
ei_printf("I2S 读取错误：%d", bytes_read);
} else {
if (bytes_read < i2s_bytes_to_read) {
ei_printf("I2S 部分读取");
}
// 缩放数据（否则声音太小）
for (int x = 0; x < i2s_bytes_to_read / 2; x++) {
sampleBuffer[x] = (int16_t)(sampleBuffer[x]) * 8;
}
if (record_status) {
audio_inference_callback(i2s_bytes_to_read);
} else {
break;
}
}
}
vTaskDelete(NULL);
}
/**
* @brief 初始化推理结构并设置/启动 PDM
*
* @param[in] n_samples 采样数量
*
* @return { 返回值描述 }
*/
static bool microphone_inference_start(uint32_t n_samples) {
inference.buffer = (int16_t *)malloc(n_samples * sizeof(int16_t));
if (inference.buffer == NULL) {
return false;
}
inference.buf_count = 0;
inference.n_samples = n_samples;
inference.buf_ready = 0;
// if (i2s_init(EI_CLASSIFIER_FREQUENCY)) {
// ei_printf("启动 I2S 失败！");
// }
ei_sleep(100);
record_status = true;
xTaskCreate(capture_samples, "CaptureSamples", 1024 * 32, (void *)sample_buffer_size, 10, NULL);
return true;
}
/**
* @brief 等待新数据
*
* @return 完成时返回 True
*/
static bool microphone_inference_record(void) {
bool ret = true;
while (inference.buf_ready == 0) {
delay(10);
}
inference.buf_ready = 0;
return ret;
}
/**
* 获取原始音频信号数据
*/
static int microphone_audio_signal_get_data(size_t offset, size_t length, float *out_ptr) {
numpy::int16_to_float(&inference.buffer[offset], out_ptr, length);
return 0;
}
/**
* @brief 停止 PDM 并释放缓冲区
*/
static void microphone_inference_end(void) {
free(sampleBuffer);
ei_free(inference.buffer);
}
#if !defined(EI_CLASSIFIER_SENSOR) || EI_CLASSIFIER_SENSOR != EI_CLASSIFIER_SENSOR_MICROPHONE
#error "当前传感器的模型无效。"
#endif
复制上述代码或从这里下载，然后将代码上传到XIAO。
// print the predictions
ei_printf("Predictions ");
ei_printf("(DSP: %d ms., Classification: %d ms., Anomaly: %d ms.)",
result.timing.dsp, result.timing.classification, result.timing.anomaly);
ei_printf(": \n");
for (size_t ix = 0; ix < EI_CLASSIFIER_LABEL_COUNT; ix++) {
ei_printf(" %s: ", result.classification[ix].label);
ei_printf_float(result.classification[ix].value);
ei_printf("\n");
if (result.classification[ix].value > pred_value) {
pred_index = ix;
pred_value = result.classification[ix].value;
}
}
// Display inference result
if ((pred_index == 0 && (pred_value > 0.8))) {
digitalWrite(LED_BUILTIN, HIGH); //Turn on
} else if ((pred_index == 2) && (pred_value > 0.8)) {
digitalWrite(LED_BUILTIN, LOW); //Turn off
} else {
//nothing to do.
}
在上述代码中，我们可以看到做出打开 LED和关闭它的决策的地方。我们也可以在这里放置其他逻辑，让KWS来控制我们的项目。
水果识别（苹果、香蕉、葡萄）Arduino库
步骤1. 下载水果识别库
下载水果识别（苹果、香蕉、葡萄）Arduino库库作为.Zip文件。
步骤2. 将ZIP库添加到Arduino IDE。
由于您已经下载了zip库，打开您的Arduino IDE，点击Sketch > Include Library > Add .ZIP Library。
选择您刚刚下载的zip文件，如果库安装正确，您将在通知窗口中看到Library added to your libraries。这意味着库已成功安装。
步骤3. 运行示例代码
您可以在Files -> Examples -> xiao-esp323-fruits-classify_inferencing -> XIAO-ESP32S3-Sense下找到示例代码
试用演示。
从这里打开数据集示例页面并打开水果图像，然后将XIAO ESP32S3摄像头对准水果图像，在屏幕上查看结果。
待办事项
- 在Arduino上安装XIAO ESPS3
- 编译和上传
- 安装KWS Arduino库并运行示例。
- 安装图像识别库并运行示例。
资源
- [GITHUB] SenseCraft模型助手模型
- [GITHUB] 项目Github
- [EDGE-IMPULSE] edge impulse KWS演示
- [EDGE-IMPULSE] edge impulse水果分类演示