Skip to main content

NVIDIA® Jetson デバイスでの Roboflow Inference の使用開始

このwikiガイドでは、NVIDIA Jetson デバイス上で動作する Roboflow inference サーバーを使用して AI モデルを簡単にデプロイする方法を説明します。ここでは Roboflow Universe を使用して既に訓練されたモデルを選択し、そのモデルを Jetson デバイスにデプロイして、ライブウェブカムストリームで推論を実行します！

Roboflow Inference は、コンピュータビジョンモデルを使用およびデプロイする最も簡単な方法で、推論実行に使用される HTTP Roboflow API を提供します。Roboflow inference は以下をサポートしています：

  • オブジェクト検出
  • 画像セグメンテーション
  • 画像分類

そして CLIP や SAM などの基盤モデル。

前提条件​

  • Ubuntu ホスト PC（ネイティブまたは VMware Workstation Player を使用した VM）
  • reComputer Jetson またはその他の NVIDIA Jetson デバイス
note

このwikiは reComputer J4012 と NVIDIA Jetson Orin NX 16GB モジュールを搭載した reComputer Industrial J4012 でテストおよび検証されています

Jetson に JetPack をフラッシュ​

次に、Jetson デバイスに JetPack システムがフラッシュされていることを確認する必要があります。NVIDIA SDK Manager またはコマンドラインを使用して JetPack をデバイスにフラッシュできます。

Seeed Jetson 搭載デバイスのフラッシュガイドについては、以下のリンクを参照してください：

note

このwikiで検証したバージョンであるため、JetPack バージョン 5.1.1 をフラッシュするようにしてください

Roboflow Universe の 50,000 以上のモデルを活用する​

Roboflow は、誰もが最速でコンピュータビジョンの展開を開始できるよう、50,000 以上のすぐに使える AI モデルを提供しています。これらのモデルはすべて Roboflow Universe で探索できます。Roboflow Universe では 200,000 以上のデータセットも提供されており、これらのデータセットを使用して Roboflow クラウドサーバーでモデルを訓練したり、独自のデータセットを持参して Roboflow オンライン画像アノテーションツールを使用して訓練を開始したりできます。

  • ステップ 1: 参考として Roboflow Universe の人物検出モデルを使用します

  • ステップ 2: ここでモデル名は「model_name/version」の形式に従います。この場合は people-detection-general/7 です。推論を開始する際に、このウィキの後半でこのモデル名を使用します。

Roboflow API キーの取得​

Roboflow 推論サーバーが動作するために、Roboflow API キーを取得する必要があります。

  • ステップ 1: 認証情報を入力して新しい Roboflow アカウントにサインアップします

  • ステップ 2: アカウントにサインインし、Projects > Workspaces > <your_workspace_name> > Roboflow API に移動し、「Private API Key」セクションの横にある Copy をクリックします

このプライベートキーは後で必要になるため、保管しておいてください。

Roboflow 推論サーバーの実行​

NVIDIA Jetson で Roboflow 推論を開始するには、3 つの異なる方法があります。

  1. pip パッケージを使用 - pip パッケージを使用することが開始する最速の方法ですが、JetPack と共に SDK コンポーネント（CUDA、cuDNN、TensorRT）をインストールする必要があります。
  2. Docker hub を使用 - Docker hub を使用すると、約 19GB の Docker イメージを最初にプルするため少し時間がかかります。ただし、Docker イメージにはすでにそれらが含まれているため、SDK コンポーネントをインストールする必要はありません。
  3. ローカル Docker ビルドを使用 - ローカル Docker ビルドを使用することは、Docker hub 方法の拡張で、希望するアプリケーションに応じて Docker イメージのソースコードを変更できます（INT8 で TensorRT 精度を有効にするなど）。

Roboflow 推論サーバーの実行に進む前に、推論する AI モデルと Roboflow API キーを取得する必要があります。まずそれらについて説明します。

pip パッケージを使用​

  • ステップ 1: Jetson デバイスに Jetson L4T のみをフラッシュした場合は、最初に SDK コンポーネントをインストールする必要があります
sudo apt update
sudo apt install nvidia-jetpack -y
  • ステップ 2: ターミナルで以下のコマンドを実行して、Roboflow inference server pip パッケージをインストールします
sudo apt update
sudo apt install python3-pip -y
pip install inference-gpu
  • ステップ 3: 以下を実行し、事前に取得したRoboflowプライベートAPIキーに置き換えてください
export ROBOFLOW_API_KEY=your_key_here
  • ステップ 4: Jetsonデバイスにウェブカメラを接続し、以下のPythonスクリプトを実行して、ウェブカメラストリーム上でオープンソースの人物検出モデルを実行します
webcam.py
import cv2
import inference
import supervision as sv

annotator = sv.BoxAnnotator()

inference.Stream(
    source="webcam", 
    model=" people-detection-general/7", 

    output_channel_order="BGR",
    use_main_thread=True, 
    
    on_prediction=lambda predictions, image: (
        print(predictions), 
        
        cv2.imshow(
            "Prediction", 
            annotator.annotate(
                scene=image, 
                detections=sv.Detections.from_roboflow(predictions)
            )
        ),
        cv2.waitKey(1)
    )
)

最終的に、以下のような結果が表示されます

さらに詳しく​

Roboflowは非常に詳細で包括的なドキュメントを提供しています。そのため、こちらで確認することを強くお勧めします。

技術サポートと製品ディスカッション​

私たちの製品をお選びいただき、ありがとうございます！私たちは、お客様の製品体験が可能な限りスムーズになるよう、さまざまなサポートを提供しています。さまざまな好みやニーズに対応するため、複数のコミュニケーションチャネルを提供しています。

Loading Comments...