メインコンテンツまでスキップ

NVIDIA Skills を使った Jetson 向け高速プロトタイピング

計画、ツール、実行がプロトタイプに流れ込む、Claude Code + NVIDIA Skills for Jetson のバナー

はじめに​

Jetson プロジェクトが行き詰まる原因は、開発者がモデルコードを書けないからではほとんどありません。多くの場合、もっと前の、デプロイ周辺の「つなぎ」の作業で止まります。デバイス状態の確認、JetPack 互換性の確認、実行可能なインストールパスの選定、最初の実行可能なパイプラインの構築、出力の検証、そして結果をデモ可能な形にパッケージングする、といった作業です。実際のプロジェクトでは、最初の数日はしばしばここで消えてしまいます。

ここで役に立つのが エージェント + スキル ワークフローです。Jetson に特化したスキルは、デバイス診断、メモリ検査、環境準備、モデルインポートなど、限定されたクラスのタスクに対する構造化された手順を AI コーディングエージェントに与えます。空のシェルから始めて断片的なドキュメントからワークフローを再構成する代わりに、Jetson を理解したデリバリーパスからスタートできます。

この手法は、特定のエージェントフレームワークに縛られるものではありません。再利用可能なスキルを読み込み、ファイルを検査し、コマンドを実行し、リモートデバイスと対話できる任意のエージェントが、同じパターンの恩恵を受けられます。このウォークスルーでは Claude Code を使用します。というのも、このワークフローには、ファイルを検査し、シェルコマンドを実行し、リモートデバイスに到達できるエージェントが必要だからです。スキル自体は、他のエージェントにも同じように読み込めます。

この記事は意図的に、単発のデモログではなく、デリバリー手法として書かれています。車両速度検出の例を使いますが、本当の目的は、さまざまな Jetson アプリケーションや異なるエージェント構成にまたがって再利用できる、再現可能なパスを示すことです。

注記

この記事でいう「Skills」とは、NVIDIA が作成し、このワークフローで使用するコーディングエージェントによって読み込まれる再利用可能なエージェントスキルを指します。これは、Seeed の Jetson DevelopTool の「Skills」モジュールとは別物であり、後者は別の GUI 自動化機能です。その GUI モジュールを探している場合は、DevelopTool Skills モジュールの記事を参照してください。

NVIDIA Skills とは​

スキルとは、AI コーディングエージェントがオンデマンドで読み込む、手順と参考資料の再利用可能なバンドルです。スキルを呼び出すと、エージェントはタスク固有のガイダンスを受け取ります。何を検査するか、どの規約に従うか、どのツールを使うか、どの出力を検証するか、といった内容です。Claude Code では、/<skill-name> でスキルを明示的に指定するのは、その挙動をトリガーする方法の 1 つにすぎません。いったんスキルがワークスペースにインストールされると、エージェントはそれらの中から自動的に選択することもできます。

Jetson 開発者に特に関係する NVIDIA スキルリポジトリが 2 つあります:

  • Jetson 開発者向けの汎用ワークフロー用 NVIDIA/skills

この記事では、これらのスキルを使って、繰り返し発生する立ち上げ作業を減らし、「デバイスが利用可能」から「プロトタイプが検証済み」までの道のりを短縮します。

Jetson のデリバリーが遅くなる理由​

Jetson アプリケーションの最初のバージョンでは通常、ハードウェアステータス、JetPack とランタイムの互換性、ARM 上でのパッケージインストールの選択、モデルの配置、起動コマンド、出力パス、そして最低限の性能検証を調整する必要があります。問題は、どのステップも不可能というわけではないことです。問題は、これらのステップがさまざまなツール、ドキュメント、アドホックなシェル作業に分散しているため、デリバリーパスが本来より長く曖昧なままになってしまうことです。

スキル駆動のワークフローの実用的な価値は、これを次のように変える点にあります:

従来のパススキル駆動のパス
行動する前に複数のドキュメントを読むタスクにフォーカスしたスキルから始める
デバイス状態を手作業で検査するエージェントに Jetson を診断させる
依存関係パスを当てずっぽうで決めるエージェントに Jetson を理解したインストールパスを使わせる
最初の試作プロトタイプを手作業で構築するエージェントに最小の実行可能バージョンをスキャフォールドさせる
成果物をチームメイトに手作業で説明するエージェントにファイル、コマンド、出力を要約させる
クイックデモ用インターフェースをゼロから作るエージェントにプロトタイプを共有用にラップさせる

スキルが得意なこと​

Jetson の作業において、スキルが最も力を発揮するのは、タスクがまだ不確実性の削減に関する段階にあるときです。現在のデバイスを検査すること、より Jetson に適したセットアップパスを選ぶこと、モデルやテストアセットの周りに最初の実行可能なプロトタイプを生成すること、作成されたものを説明すること、そして結果を、表示や再実行が可能な形にパッケージングすることです。スキルは、本番エンジニアリングの代替としては、はるかに役に立ちません。スキルは立ち上げと検証を加速できますが、最高の性能、本番レベルの信頼性、シーンに対する較正済みの精度、あるいはスケールと保守性のために最終的に選択するアーキテクチャを保証するものではありません。この境界は重要です。というのも、このワークフローの目的は、信頼できるベースラインにより早く到達し、その後は意図的に堅牢化していくことだからです。

Jetson デリバリーワークフローの 5 ステップ​

5 段階の Jetson デリバリーワークフロー:診断、準備、生成、検証、パッケージ化

各ステップで使うべきスキル​

すべてのプロジェクトに、すべてのスキルが必要なわけではありません。よりよい考え方は、特定のブロッカーが現れたときに、適切なスキルを使うことです。

まずは jetson-diagnostic から始める​

Jetson がデプロイ準備できているかどうか、まだ分からないときに最初に使います。実際には、エージェントに十分なライブデバイスコンテキストを与え、ワークフローの残りを通常ブロックする質問に答えられるようにします。どの Jetson モデルが動作しているか、どの JetPack/L4T バージョンがインストールされているか、どれだけメモリが空いているか、デバイスが熱的に制約されているかどうか、主要なサービスやハードウェアエンドポイントが見えているかどうか、などです。

プロンプト例:

/jetson-diagnostic Check whether this Jetson is ready for a real-time vision prototype and summarize any blockers.
診断スキルによる Jetson デバイススナップショット:モデル、L4T、Ubuntu、RAM、電源モード、トッププロセス

セットアップの指示が一般的すぎるか安全でなくなったら jetson-package を使う​

Jetson では、x86 Linux や汎用 AI チュートリアルからコピーしたパッケージインストールのアドバイスは、しばしば失敗します。jetson-package は、エージェントに Jetson を理解したソースとデプロイパスを優先させたいとき、特に PyTorch や OpenCV などの依存関係について、ホストパッケージ、wheel、コンテナのどれを選ぶかを決める際に使用します。

/jetson-package Recommend the correct Jetson-compatible dependency path for this vision project.

メモリが最初のボトルネックになっているときは jetson-memory-audit を使う​

これは、モデルのロードが遅い、プロセスが kill される、推論負荷の下でデバイスが不安定に感じられる、といった場合に有用です。現在 DRAM を何が使用しているか、以前のプロセスが本当にメモリを解放したかどうか、設定変更がもっともらしく聞こえるだけでなく測定可能な差を生んだかどうかについて、データに基づくビューをエージェントに提供します。

/jetson-memory-audit Measure the current memory pressure and identify the biggest consumers before I deploy this prototype.
ヘッドレスモードと未使用サービスによる節約量と、それぞれが解放する RAM を一覧にした最適化レポート

デバイスがアプライアンスとして動作しているときは jetson-headless-mode を使う​

Jetson をデスクトップマシンではなく専用のエッジノードとして使用している場合、ヘッドレスモードに切り替えることで、推論ワークロード向けのリソースを取り戻せます。

/jetson-headless-mode Compare memory usage before and after enabling headless mode for this deployment target.
ヘッドレスモード有効化の前後で比較したメモリ使用量

最初の実行可能バージョンを生成するにはタスク固有のビルドスキルを使う​

デバイスと環境が把握できたら、次の目標は完璧さではありません。目標は、最小限の有用なプロトタイプに到達し、その出力を検査可能にすることです。

以下の例では、ビルドステップとして deepstream-import-vision-model を使用します。

プロトタイプの受け入れ基準​

最適化をさらに進める前に、何をもってプロトタイプが成功と見なせるかを定義します。最初の Jetson プロトタイプは通常、明確なコマンドで再実行でき、入力パスと出力パスが明示され、結果をすぐに確認でき、現在のリソース状況がもはや謎でなくなっていれば十分です。主なボトルネックが見えていて、次のエンジニアリングステップが自明であれば、そのプロトタイプはすでに役目を果たしています。最初のパスの目的は、製品を完成させることではありません。不確実性を十分に素早く減らし、次の反復を当てずっぽうではなく意図的なものにすることです。

前提条件​

例のワークフローに従う前に、次のものを準備してください:

  • 電源が入りネットワーク経由で到達可能な reComputer Jetson またはその他の Jetson デバイス
  • Jetson 上で動作する JetPack 環境
  • ワークフローを駆動するホストマシンにインストールされた AI コーディングエージェント
  • ホストマシンから Jetson への SSH アクセス
  • Jetson 上に、モデルのダウンロード、一時ファイル、出力用の十分なストレージ
  • Jetson 上にあらかじめ配置された、ビデオクリップなどの テストアセット

この例では、テスト用ビデオ top_view.mp4 が Jetson 上の /home/seeed/workspace/traffic_monitor/ に配置されているものとします。

注記

ホストマシンはコーディングエージェントを実行し、通常は SSH 経由で Jetson 上の作業をスキルを使って駆動します。実際には、エージェントが選択した実装パスに応じて、Python、DeepStream、コンテナサポートなどの追加の依存関係が必要になる場合があります。

Skills ワークスペースのセットアップ​

この記事で使用している Claude Code の例では、スキルはプロジェクトのルートにある .claude/ ディレクトリ内に配置されています。

mkdir -p project/.claude/
cd project/
git clone https://github.com/NVIDIA/skills.git
cp -r skills/skills .claude/
claude

claude コマンドを起動したら、/<skill-name> と入力して、エージェントに特定のスキルを明示的に読ませることができます。これは、どのワークフローを使いたいかすでに分かっている場合に便利です。しかし一度スキルがワークスペースにインストールされると、エージェントはそれらの存在を把握しており、あなたのリクエストに応じて自動的に選択できます。実際には、診断、パッケージ選択、メモリ検査、プロトタイプ生成などを完全に別々のセッションとして扱うのではなく、1 回のパスで複数のスキルを連鎖させることもあります。

Claude Code session listing the /jet skill commands, with two SessionStart hook errors

ケーススタディ:ワークフローにマッピングした車両速度検出​

次の例は、5 ステップのワークフローが実際にはどのように見えるかを示しています。例としては車両速度検出を扱いますが、本当に重要なのはデリバリーパターンです。

ステップ 1. デバイスを診断する​

まず、Jetson が実際にビジョンワークロードの準備ができているかどうかを確認します。次のようなプロンプトを使うと、エージェントはデバイスを調査し、生のテレメトリをただダンプするのではなく、プロトタイプにとって重要なブロッカーを報告するのに十分なコンテキストを得られます。

/jetson-diagnostic Check the current status of my Jetson and summarize any blockers for a vision prototype.
SSH login: seeed@192.168.6.204
Password: seeed
注記

上記の IP アドレスとパスワードはサンプル値です。自分の Jetson の認証情報に置き換えてください。seeed は一部の Seeed Jetson デバイスでのデフォルトパスワードであり、本番機では変更する必要があります。

Device check output listing the Jetson model and the JetPack version

ステップ 2. 環境を準備する​

診断ステップで、プロトタイプを動かすには環境が十分クリーンでないことが分かった場合は、むやみに先へ進むのではなく、このタイミングで準備を行います。jetson-package は、Jetson と互換性のある依存関係パスをエージェントが選択するのに役立ち、jetson-memory-audit と jetson-headless-mode は、メモリプレッシャーや不要なデスクトップのオーバーヘッドが最初の障害になる場合に有用です。

/jetson-package Recommend the correct dependency path for this Jetson vision prototype.
/jetson-memory-audit Measure memory usage before I deploy the model and identify the top consumers.
/jetson-headless-mode Compare whether this device should be switched to headless mode for better inference headroom.

実務的な利点は、前段の診断で本当に必要だと分かったときにだけセットアップ作業に時間を使えることです。

ステップ 3. 最小限の実行可能なプロトタイプを構築する​

ここからは、環境の準備完了からアプリケーションの立ち上げへと進みます。

/deepstream-import-vision-model Help me access the following directory on Jetson: /home/seeed/workspace/traffic_monitor
Deploy a vehicle speed detection system under this directory. Use the top_view.mp4 file in this directory for testing.

以下は、このウォークスルーで使用しているサンプルの俯瞰交通動画です:

Sample top-view traffic video frame used in the walkthrough

エージェントは、デバイス上に何が存在するかによって、異なる実装パスを選択する場合があります。この段階で重要なのは、最終的な本番スタックを選んだかどうかではありません。重要なのは、検査可能な結果を持つ、実行可能な最初のパスを生成することです。

このステップの終わりまでに、メインの推論スクリプトまたはアプリのエントリポイント、明確な再実行パス、注釈付き出力動画などの成果物、そして生成されたファイルが既知のワークスペースに配置されている状態を目指します。これらの要素がそろっていれば、最終的なスタックがまだ変更の余地を残していても、ベースラインはすでに有用です。

Agent session ending with the task loop stopped and the stop-hook errors printed
Working directory listing detect_speed.py, the input videos, yolov8n.pt and output_annotated.mp4

ここからワークフローの効果が現れ始めます。最初のパスでスクリプトやパスを手作業で配線する代わりに、実行可能なベースラインを評価し、どこにより深いエンジニアリング投資をすべきかを判断できます。

ステップ 4. 出力を検証しアーキテクチャを確認する​

最初のパスができたら、エージェントに対して、何を作成したのか、そしてそれをどう再実行するのかを説明するよう依頼します。

Please explain the generated files, the rerun command, the output locations, the current bottlenecks, and the technical approach and architecture you are using.

この時点で有用な問いは、「何か動いたか?」ではなく、「具体的に何が作られたのか、どうやって再実行するのか、出力はどこにあるのか、エージェントはアーキテクチャ的に何を選択したのか?」です。良いフォローアップの説明があれば、ファイルレイアウト、再実行パス、出力場所、検出と速度推定のアプローチ、および想定されるパフォーマンスボトルネックについて、明確な見通しを得られるはずです。

Usage sheet listing each file of the speed detection project and what it does
Technical architecture write-up: the three-stage perception, tracking and measurement pipeline with the YOLOv8n stage detail

ここでは、エージェントは単にコードを生成しているだけではないため、時間を節約できます。エージェントが作成したばかりのベースラインを理解し評価するために必要な時間も短縮しているのです。

ステップ 5. プロトタイプを共有可能な形にパッケージングする​

アルゴリズムがコマンドラインから動作するようになったら、次のギャップはたいていデモ性です。

Help me create a web UI that I can access from my local PC to upload videos for detection and continuously loop the output video.

エージェントは、プロトタイプを小さな Web サービスや類似のインターフェースでラップし、チームメイトや顧客がコマンドラインに触れることなく試せるようにできます。

Agent log verifying the deployment: ping reply, HTTP 200 from the web UI and the nohup process still serving
注記

ローカル PC から UI にアクセスするには、選択したポートが Jetson 上でアクセス可能であり、両方のマシンが同じネットワーク上にあることを確認するか、SSH ポートフォワーディングを使用してください。推論速度を評価する際は、転送された Web UI はネットワークレイテンシによって遅く感じられる可能性があるため、モデル性能だけでなく、Jetson 側のローカルランタイムを基準点として用いてください。

Traffic Speed Monitor web UI with the uploaded video, the detected vehicles and the Speed Stats panel

これは、このワークフローが実務で有用であるもう一つの理由です。同じプロセスで、バックエンドの概念実証からデモ可能なパッケージングまでのギャップも埋めることができます。

よくある失敗パターンと次に取るべき行動​

このワークフローは、適切なタイミングで適切な不確実性を減らすために使うときに最も役立ちます。

問題それが通常意味すること取るべき行動
インストールパスが汎用的に見える、または ARM で壊れるJetson 互換性が無視されているjetson-package を使用する
モデルのロードに失敗する、または推論が不安定メモリプレッシャーが最初のボトルネックになっているjetson-memory-audit を使用する
デバイスがデスクトップサービスにメモリを使い過ぎているJetson をアプライアンスとして扱った方がよいjetson-headless-mode を使用する
プロトタイプは動くが遅すぎるベースラインは妥当だが、まだ最適化されていないエージェントにボトルネックの特定と DeepStream または TensorRT の推奨を依頼する
デモがターミナル形式でしか動かないエンジニアリングのベースラインは存在するが、共有可能ではないエージェントに Web UI またはサービスラッパーとしてパッケージングするよう依頼する

プロトタイプから本番へ​

このワークフローは、探索、立ち上げ、検証の段階で最も力を発揮します。ベースラインが証明されたら、次のステップは通常、手動でのハードニングです。

典型的な本番移行の動きはおなじみのものです。プロトタイプのロジックを、より構造化された DeepStream パイプラインに置き換えること、スループット向上のためにモデルを TensorRT に変換すること、トラッキングの堅牢性とキャリブレーション品質を改善すること、場当たり的なスクリプトを保守可能なサービスやアプリケーションに変えること、そして実システムに必要な監視とデプロイの規律を追加することです。重要なポイントはシンプルです:スキルを使って信頼できるベースラインまでの道のりを圧縮し、その後は意図的にハードニングすること。

再利用可能なプロンプトテンプレート​

次のプロンプトシーケンスは、新しい Jetson プロジェクトに対する良い出発点となるテンプレートです:

1. Diagnose this Jetson and list any blockers for running a vision prototype.
2. Recommend the correct Jetson-compatible dependency path.
3. Build the smallest runnable prototype in /path/to/workspace using /path/to/test-asset.
4. Explain the generated files, rerun command, and expected outputs.
5. Measure the current bottleneck and recommend whether to stay in Python or move to DeepStream/TensorRT next.
6. Package the prototype into a simple demo interface if the baseline is validated.

このテンプレートは、物体検出、映像解析、ロボットの認識処理、その他の Jetson 側アプリケーションの立ち上げ作業などに合わせて応用できます。

まとめ​

ここでの主なポイントは、「ある特定のエージェントが、ある一つの車両速度検出デモを構築できる」ということではありません。より有用なポイントは、スキルを構造化されたワークフローとして扱うことで、Jetson アプリケーションのデリバリーが大幅に高速化されるということです。つまり、まずデバイスを診断し、必要な部分だけを準備し、最小限の実行可能なプロトタイプを生成し、出力とボトルネックを検証し、その結果を共有可能な形にパッケージングする、という流れです。これが再現性のあるパターンであり、車両速度の例はその一例に過ぎません。

参考資料​

関連リソース​

技術サポート & 製品ディスカッション​

弊社製品をお選びいただきありがとうございます。私たちは、製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに合わせてお選びいただけるよう、複数のコミュニケーションチャネルをご用意しています。

Loading Comments...