Skip to main content

在 NVIDIA® Jetson 设备上使用 Roboflow 推理快速入门

本指南介绍了如何在 NVIDIA Jetson 设备上使用 Roboflow 推理服务器轻松部署 AI 模型。我们将使用 Roboflow Universe 选择一个已训练的模型,将其部署到 Jetson 设备上,并在实时摄像头流上进行推理!

Roboflow 推理 是使用和部署计算机视觉模型的最简单方式,它提供了一个用于运行推理的 HTTP Roboflow API。Roboflow 推理支持以下功能:

  • 目标检测
  • 图像分割
  • 图像分类

以及基础模型,例如 CLIP 和 SAM。

前置条件

  • Ubuntu 主机 PC(原生或使用 VMware Workstation Player 的虚拟机)
  • reComputer Jetson 或其他 NVIDIA Jetson 设备
note

本指南已在 reComputer J4012reComputer Industrial J4012 上测试和验证,这些设备由 NVIDIA Jetson Orin NX 16GB 模块提供支持。

为 Jetson 刷写 JetPack

现在,您需要确保 Jetson 设备已刷写 JetPack 系统。您可以使用 NVIDIA SDK Manager 或命令行将 JetPack 刷写到设备上。

有关 Seeed Jetson 驱动设备的刷写指南,请参考以下链接:

note

请确保刷写 JetPack 版本 5.1.1,因为这是我们在本指南中验证过的版本。

使用 Roboflow Universe 中的 50,000+ 模型

Roboflow 提供超过 50,000 个现成的 AI 模型,帮助每个人以最快的方式开始计算机视觉部署。您可以在 Roboflow Universe 中探索所有这些模型。Roboflow Universe 还提供超过 200,000 个数据集,您可以使用这些数据集在 Roboflow 云服务器上训练模型,或者上传您自己的数据集,使用 Roboflow 在线图像标注工具 开始训练。

  • 步骤 1: 我们将使用 Roboflow Universe 中的一个人员检测模型作为参考。

  • 步骤 2: 模型名称将遵循格式 "model_name/version"。在本例中,模型名称为 people-detection-general/7。我们将在后续的文档中使用此模型名称进行推理。

获取 Roboflow API 密钥

现在我们需要获取 Roboflow API 密钥,以便 Roboflow 推理服务器正常工作。

  • 步骤 1: 通过输入您的凭据注册一个新的 Roboflow 账户。

  • 步骤 2: 登录账户,导航到 Projects > Workspaces > <your_workspace_name> > Roboflow API,然后点击 "Private API Key" 部分旁边的 Copy

请保存此私密密钥,因为后续我们将需要使用它。

运行 Roboflow 推理服务器

您可以通过以下三种方式在 NVIDIA Jetson 上开始使用 Roboflow 推理:

  1. 使用 pip 包 - 使用 pip 包是最快的方式,但您需要安装 SDK 组件(CUDA、cuDNN、TensorRT)以及 JetPack。
  2. 使用 Docker Hub - 使用 Docker Hub 会稍慢一些,因为它首先需要拉取一个约 19GB 的 Docker 镜像,但您无需安装 SDK 组件,因为 Docker 镜像已经包含这些组件。
  3. 使用本地 Docker 构建 - 使用本地 Docker 构建是 Docker Hub 方法的扩展,您可以根据所需应用修改 Docker 镜像的源代码(例如启用 TensorRT 的 INT8 精度)。

在运行 Roboflow 推理服务器之前,您需要获取一个用于推理的 AI 模型和一个 Roboflow API 密钥。我们将首先介绍如何获取这些内容。

使用 pip 包

  • 步骤 1: 如果您仅为 Jetson 设备刷入 Jetson L4T,则需要先安装 SDK 组件
sudo apt update
sudo apt install nvidia-jetpack -y
  • 步骤 2: 在终端上执行以下命令以安装 Roboflow 推理服务器 pip 包
sudo apt update
sudo apt install python3-pip -y
pip install inference-gpu
  • 步骤 3: 执行以下命令并替换为您之前获取的 Roboflow 私密 API 密钥
export ROBOFLOW_API_KEY=your_key_here
  • 步骤 4: 将摄像头连接到 Jetson 设备,并执行以下 Python 脚本以在摄像头流上运行一个开源人员检测模型
webcam.py
import cv2
import inference
import supervision as sv

annotator = sv.BoxAnnotator()

inference.Stream(
source="webcam",
model="people-detection-general/7",

output_channel_order="BGR",
use_main_thread=True,

on_prediction=lambda predictions, image: (
print(predictions),

cv2.imshow(
"Prediction",
annotator.annotate(
scene=image,
detections=sv.Detections.from_roboflow(predictions)
)
),
cv2.waitKey(1)
)
)

最终,您将看到如下结果:


了解更多

Roboflow 提供了非常详细和全面的文档。因此,我们强烈建议您查看 这里

技术支持与产品讨论

感谢您选择我们的产品!我们致力于为您提供多种支持,确保您在使用我们的产品时拥有尽可能顺畅的体验。我们提供多种沟通渠道,以满足不同的偏好和需求。

Loading Comments...