Skip to main content

在 NVIDIA® Jetson 设备上开始使用 Roboflow 推理

本 wiki 指南介绍了如何使用在 NVIDIA Jetson 设备上运行的 Roboflow 推理服务器轻松部署 AI 模型。在这里，我们将使用 Roboflow Universe 选择一个已经训练好的模型，将模型部署到 Jetson 设备上，并在实时网络摄像头流上执行推理！

Roboflow Inference 是使用和部署计算机视觉模型的最简单方法，提供了用于运行推理的 HTTP Roboflow API。Roboflow 推理支持：

  • 目标检测
  • 图像分割
  • 图像分类

以及像 CLIP 和 SAM 这样的基础模型。

先决条件​

  • Ubuntu 主机 PC（原生或使用 VMware Workstation Player 的虚拟机）
  • reComputer Jetson 或任何其他 NVIDIA Jetson 设备
note

本 wiki 已在 reComputer J4012 和 reComputer Industrial J4012 上进行了测试和验证，这两款设备均由 NVIDIA Jetson Orin NX 16GB 模块驱动

将 JetPack 刷写到 Jetson​

现在您需要确保 Jetson 设备已刷写了 JetPack 系统。您可以使用 NVIDIA SDK Manager 或命令行将 JetPack 刷写到设备上。

对于 Seeed Jetson 驱动设备的刷写指南，请参考以下链接：

note

请确保刷写 JetPack 版本 5.1.1，因为这是我们为本 wiki 验证过的版本

利用 Roboflow Universe 中的 50,000+ 模型​

Roboflow 为每个人提供了 50,000+ 个即用型 AI 模型，让您能够以最快的方式开始计算机视觉部署。您可以在 Roboflow Universe 探索所有这些模型。Roboflow Universe 还提供 200,000+ 个数据集，您可以使用这些数据集在 Roboflow 云服务器上训练模型，或者带上您自己的数据集，使用 Roboflow 在线图像标注工具并开始训练。

  • 步骤 1： 我们将使用 Roboflow Universe 中的一个人员检测模型作为参考

  • 步骤 2： 这里模型名称将遵循"model_name/version"格式。在这种情况下，它是 people-detection-general/7。我们将在本 wiki 后面开始推理时使用这个模型名称。

获取 Roboflow API 密钥​

现在我们需要获取一个 Roboflow API 密钥，以便 Roboflow 推理服务器能够工作。

  • 步骤 1： 通过输入您的凭据为新的 Roboflow 账户注册

  • 步骤 2： 登录账户，导航到 Projects > Workspaces > <your_workspace_name> > Roboflow API，然后点击"Private API Key"部分旁边的复制

请保存这个私钥，因为我们稍后会需要它。

运行 Roboflow 推理服务器​

您可以通过 3 种不同的方式在 NVIDIA Jetson 上开始使用 Roboflow 推理。

  1. 使用 pip 包 - 使用 pip 包将是最快的入门方式，但是您需要安装 SDK 组件（CUDA、cuDNN、TensorRT）以及 JetPack。
  2. 使用 Docker hub - 使用 Docker hub 会稍微慢一些，因为它首先会拉取一个大约 19GB 的 Docker 镜像。但是您不需要安装 SDK 组件，因为 Docker 镜像已经包含了这些。
  3. 使用本地 Docker 构建 - 使用本地 Docker 构建是 Docker hub 方法的扩展，您可以根据所需的应用程序更改 Docker 镜像的源代码（例如启用 INT8 精度的 TensorRT）。

在继续运行 Roboflow 推理服务器之前，您需要获取一个 AI 模型进行推理，以及一个 Roboflow API 密钥。我们将首先介绍这些内容。

使用 pip 包​

  • 步骤 1： 如果您只是用 Jetson L4T 刷写 Jetson 设备，您需要首先安装 SDK 组件
sudo apt update
sudo apt install nvidia-jetpack -y
  • 步骤 2: 在终端上执行以下命令来安装 Roboflow 推理服务器 pip 包
sudo apt update
sudo apt install python3-pip -y
pip install inference-gpu
  • 步骤 3: 执行以下操作并替换为您之前获得的 Roboflow 私有 API 密钥
export ROBOFLOW_API_KEY=your_key_here
  • 步骤 4： 将网络摄像头连接到 Jetson 设备，并执行以下 Python 脚本在您的网络摄像头流上运行开源人员检测模型
webcam.py
import cv2
import inference
import supervision as sv

annotator = sv.BoxAnnotator()

inference.Stream(
    source="webcam", 
    model=" people-detection-general/7", 

    output_channel_order="BGR",
    use_main_thread=True, 
    
    on_prediction=lambda predictions, image: (
        print(predictions), 
        
        cv2.imshow(
            "Prediction", 
            annotator.annotate(
                scene=image, 
                detections=sv.Detections.from_roboflow(predictions)
            )
        ),
        cv2.waitKey(1)
    )
)

最后，您将看到如下结果

了解更多​

Roboflow 提供非常详细和全面的文档。因此强烈建议在这里查看它们。

技术支持与产品讨论​

感谢您选择我们的产品！我们在这里为您提供不同的支持，以确保您使用我们产品的体验尽可能顺畅。我们提供多种沟通渠道，以满足不同的偏好和需求。

Loading Comments...