reComputer Super 与 Classic 下一代边缘推理 AI 性能对比

介绍
reComputer Super 系列为 reComputer Classic 带来强劲升级,在 AI 性能上最高可实现 1.7 倍提升,达到 157 TOPS。本 Wiki 对比了 reComputer Super 与 reComputer Classic 在 AI 文本生成和 AI 视频处理方面的性能差异。以 NVIDIA Jetson Orin NX 16GB 模组 作为测试平台,可以清晰地看到 reComputer Super 相比 reComputer Classic 具有更出色的性能表现。
AI 文本生成
在本节中,我们使用 Ollama 加载 deepseek-r1:7b 模型,并对比该模型在不同设备上的推理速度。reComputer Super 在推理速度和 GPU 频率方面相较 reComputer Classic 有所提升。
部署此模型的主要步骤如下:
步骤 1. 安装 jetson-containers。
步骤 2. 进入 Docker 容器运行 Ollama 服务。
步骤 3. 从 Ollama 拉取 deepseek-r1:7b 模型。
为了便于演示,我们在终端中输入 "tell me a story.",让 DeepSeek 为我们生成一个短故事。由于模型生成结果具有随机性,我们得到的结果通常不会完全相同,因此我们可以根据模型生成 token 的速度来衡量设备的推理性能。(如视频中所示,我们使用 eval rate 指标)
如果你也想在 Jetson 设备上部署 Ollama,请参考本教程,了解如何在 Nvidia Jetson 上快速部署。
AI 视频处理
在本节中,我们在两台设备上部署了目标检测模型 YOLOv11,并对比它们在处理视频输入时的性能差异。结果表明,reComputer Super 每秒可处理的图像数量约为 reComputer Classic 的 2.37 倍。
参考此仓库即可像我们一样在你的设备上部署 YOLOv11。 部署此模型的主要步骤如下:
步骤 1. 克隆此 GitHub 仓库。
步骤 2. 从 ultralytics 下载预训练权重文件 yolo11n.pt。
步骤 3. 按照此仓库中的说明编译模型并运行推理。
步骤 4. 我们参考此仓库中的 yolo11_det_trt.py 脚本来运行推理。
终端中显示的 Average FPS 反映的是模型纯推理速度,能够直接体现设备算力差异,因此 reComputer Super 显示出明显更高的 FPS。而显示窗口左上角实时显示的 FPS 则代表整个处理流水线的帧率,包括图像采集、预处理、推理、后处理和显示等环节。该 FPS 会受到摄像头帧率、显示刷新率以及程序帧率限制等多种因素影响,导致两台设备上显示的 FPS 相近,从而掩盖推理性能差异。因此,在评估设备性能时,应以终端输出的平均推理 FPS 为准,而不是仅依赖实时显示的 FPS。
参考资料
- https://www.jetson-ai-lab.com/tutorial_ollama.html
- https://www.deepseek.com/
- https://wiki.seeedstudio.com/cn/deploy_deepseek_on_jetson/
- https://www.seeedstudio.com/edge-ai/generative-ai
- https://github.com/ultralytics/ultralytics
- https://github.com/wang-xinyu/tensorrtx?tab=readme-ov-file
相关资源
- reComputer Super 硬件与接口使用
- 为 reComputer Jetson 安装 PyTorch
- 使用 MTP 加速 Jetson 上的 llama.cpp
- reComputer Super 产品页面
技术支持与产品讨论
感谢你选择我们的产品!我们将为你提供多种支持,确保你在使用我们产品的过程中尽可能顺畅。我们提供多种沟通渠道,以满足不同的偏好和需求。