Skip to main content

在 NVIDIA® Jetson 设备上快速入门 Roboflow 推理

note

本文档由 AI 翻译。如您发现内容有误或有改进建议，欢迎通过页面下方的评论区，或在以下 Issue 页面中告诉我们：https://github.com/Seeed-Studio/wiki-documents/issues

本指南介绍了如何在 NVIDIA Jetson 设备上使用 Roboflow 推理服务器轻松部署 AI 模型。我们将使用 Roboflow Universe 选择一个已经训练好的模型，将其部署到 Jetson 设备上，并在实时摄像头流上进行推理！

Roboflow 推理 是使用和部署计算机视觉模型的最简单方式，提供了一个用于运行推理的 HTTP Roboflow API。Roboflow 推理支持以下功能：

  • 目标检测
  • 图像分割
  • 图像分类

以及基础模型如 CLIP 和 SAM。

前置条件​

  • Ubuntu 主机电脑（本地或使用 VMware Workstation Player 的虚拟机）
  • reComputer Jetson 或其他 NVIDIA Jetson 设备
note

本指南已在 reComputer J4012 和 reComputer Industrial J4012 上测试和验证，这些设备由 NVIDIA Jetson Orin NX 16GB 模块提供支持。

为 Jetson 刷入 JetPack​

现在需要确保 Jetson 设备已刷入 JetPack 系统。可以使用 NVIDIA SDK Manager 或命令行将 JetPack 刷入设备。

有关 Seeed Jetson 设备的刷机指南，请参考以下链接：

note

请确保刷入 JetPack 版本 5.1.1，因为本指南已在该版本上验证。

探索 Roboflow Universe 中的 50,000+ 模型​

Roboflow 提供了 50,000+ 可直接使用的 AI 模型，帮助用户以最快的方式开始计算机视觉部署。您可以在 Roboflow Universe 中探索这些模型。此外，Roboflow Universe 还提供了 200,000+ 数据集，您可以使用这些数据集在 Roboflow 云服务器上训练模型，或者上传自己的数据集，使用 Roboflow 在线图像标注工具 开始训练。

  • 步骤 1： 我们将使用 Roboflow Universe 中的 人群检测模型 作为参考。

  • 步骤 2： 模型名称的格式为 "model_name/version"。在本例中，模型名称为 people-detection-general/7。稍后在推理时，我们将使用该模型名称。

获取 Roboflow API 密钥​

接下来，我们需要获取 Roboflow API 密钥，以便 Roboflow 推理服务器正常工作。

  • 步骤 1： 注册 一个新的 Roboflow 账户，输入您的凭据。

  • 步骤 2： 登录账户，导航到 Projects > Workspaces > <your_workspace_name> > Roboflow API，然后点击 "Private API Key" 部分旁边的 Copy 按钮。

请妥善保存此私钥，因为稍后我们将需要它。

运行 Roboflow 推理服务器​

您可以通过以下三种方式在 NVIDIA Jetson 上开始使用 Roboflow 推理：

  1. 使用 pip 包 - 使用 pip 包是最快的入门方式，但需要安装 SDK 组件（CUDA、cuDNN、TensorRT）以及 JetPack。
  2. 使用 Docker Hub - 使用 Docker Hub 会稍慢一些，因为它需要先拉取一个约 19GB 的 Docker 镜像，但无需安装 SDK 组件，因为镜像中已包含这些组件。
  3. 使用本地 Docker 构建 - 本地 Docker 构建是 Docker Hub 方法的扩展，您可以根据所需应用修改 Docker 镜像的源代码（例如启用 TensorRT 的 INT8 精度）。

在运行 Roboflow 推理服务器之前，您需要获取一个用于推理的 AI 模型和一个 Roboflow API 密钥。我们将首先介绍如何获取这些内容。

使用 pip 包​

  • 步骤 1： 如果您仅为 Jetson 设备刷入了 Jetson L4T 系统，则需要先安装 SDK 组件
sudo apt update
sudo apt install nvidia-jetpack -y
  • 步骤 2： 在终端中执行以下命令以安装 Roboflow 推理服务器的 pip 包
sudo apt update
sudo apt install python3-pip -y
pip install inference-gpu
  • 步骤 3： 执行以下命令并替换为您之前获取的 Roboflow 私有 API 密钥
export ROBOFLOW_API_KEY=your_key_here
  • 步骤 4： 将摄像头连接到 Jetson 设备，并执行以下 Python 脚本，在您的摄像头流上运行一个开源的人体检测模型
webcam.py
import cv2
import inference
import supervision as sv

annotator = sv.BoxAnnotator()

inference.Stream(
    source="webcam", 
    model=" people-detection-general/7", 

    output_channel_order="BGR",
    use_main_thread=True, 
    
    on_prediction=lambda predictions, image: (
        print(predictions), 
        
        cv2.imshow(
            "Prediction", 
            annotator.annotate(
                scene=image, 
                detections=sv.Detections.from_roboflow(predictions)
            )
        ),
        cv2.waitKey(1)
    )
)

最终，您将看到如下结果：

了解更多​

Roboflow 提供了非常详细和全面的文档。因此，我们强烈建议您在 这里 查看相关内容。

技术支持与产品讨论​

感谢您选择我们的产品！我们致力于为您提供多种支持，以确保您在使用我们的产品时获得尽可能顺畅的体验。我们提供了多种沟通渠道，以满足不同的偏好和需求。

Loading Comments...