Jetson で AI モデルをデプロイする：何が動き、どう動かすか

このページでは、NVIDIA Jetson 上で AI モデル（LLM、ビジョン・ランゲージモデル、生成モデル、エンボディド/VLA モデル、音声、コンピュータビジョン）を実行する際によく出てくる疑問を扱います：

1. 自分のデバイスではどのモデルサイズ（B、十億パラメータ）が動くのか？
2. どのモデルをデプロイできるのか？
3. どうやってデプロイするのか？

デプロイ方法は 3 通りあります：

• オンラインプラットフォーム（推奨）： reComputer AI Lab からブラウズしてデプロイ — reComputer Jetson 向けに最適化された 100 以上の CV / LLM / VLM モデルを、ワンコマンドの Docker デプロイとベンチマーク付きで提供。ページでモデルを選び、コマンドをコピーして実行するだけです。
• ワンコマンド CLI： jetson-examples — reComputer run <model>。
• 手動： エンジン（Ollama、llama.cpp、MLC、TensorRT Edge-LLM、TensorRT-Model-Connect）を自分で選び、以下に挙げるチュートリアルに従います。

---

1. 自分のデバイスではどのモデルサイズが動く？

「モデルサイズ」は B（十億パラメータ） で表されます — 7B モデルは 70 億パラメータを持ち、B の数値が大きいほど多くのメモリを必要とします。重要なのは Jetson モジュールの ユニファイドメモリ（キャリアボードではなくモジュール側）です。量子化（Q4_K_M） モデルの場合：

8 GB · Orin Nano

1B – 4B モデル

Llama 3.2 1B/3B、Qwen3.5-4B、Gemma4 E4B、Live VLM WebUI

16 GB · Orin NX

7B – 8B モデル

Llama3 8B、DeepSeek-R1 7B、Llama2-7B（MLC）、LLaVA 7B、LocateAnything

32 GB · AGX Orin

最大 27B（量子化）

Qwen3.5-27B Q4_K_M（下記の JetPack 6.2 と 7.2 のベンチマークを参照）

64 GB · AGX Orin

30B – 35B+

Nemotron-3-Nano-30B（Q4_K_M）、Qwen3.6-35B（UD-Q6_K）、GPT-OSS

128 GB · Jetson Thor

35B 以上の大規模モデル

Nemotron3 33B、JoyAI VLM / ASR / TTS スタック

メモリ使用量には KV キャッシュとシステムオーバーヘッドも含まれるため、重みが RAM をほぼ埋め尽くすモデルは安定して動作しません。AGX Orin 32 GB で計測したところ、Qwen3.5-27B Q4_K_M モデルは、ロード後に利用可能な 30 GB のうち約 24.6 GB を使用しました — これは 32 GB デバイスにとって現実的な上限値です。

2. どのモデルをデプロイできる？

2.1 ワンコマンドデプロイ（jetson-examples）

一度インストールすれば、サポートされている任意のモデルを 1 つのコマンドで実行できます：

sudo apt install python3-pip
pip3 install jetson-examples

Qwen シリーズ

Qwen3.5-4B約 2.5 GB（Q4_K_M）· Orin Nano 8 GB · JP 6.1/6.2/6.2.1
reComputer run qwen3.5-4b

Qwen3.6-35B約 24 GB+（UD-Q6_K）· AGX Orin 64 GB · JP 6.1/6.2/6.2.1
reComputer run qwen3.6-35b

Llama ファミリー

Llama3 8B約 4.9 GB（Ollama Q4）· Orin NX 16 GB · JP 5.1.1-6.0
reComputer run llama3

Llama 3.2 1B/3B約 1.3 / 2.0 GB（Ollama Q4）· Orin Nano 8 GB · JP 5.1.1-6.x
reComputer run llama3.2

LLaVA 7B(VLM) 合計約 15 GB（FP16）· Orin NX 16 GB · JP 5.1.1-6.0
reComputer run llava

Gemma ファミリー

Gemma4 E4B約 2.5 GB（Q4_K_M）· Orin Nano 8 GB · JP 6.1/6.2/6.2.1
reComputer run gemma4

NVIDIA モデル（64 GB）

Nemotron-3-Nano-30B約 24.5 GB（Q4_K_M）· AGX Orin 64 GB · JP 6.1/6.2/6.2.1
reComputer run nemotron-3-nano

GPT-OSS約 39 GB（Q4_K）· AGX Orin 64 GB · JP 6.1/6.2/6.2.1
reComputer run gpt-oss

VLM（ビジョン・ランゲージ）

Live VLM WebUI7 つの VLM（Ollama Q4）· 最低 8 GB · JP 6.0-7.1
reComputer run live-vlm-webui

LocateAnything約 7.3 GB の重み（BF16）· Orin NX 16 GB · JP 6.x
reComputer run locateanything

YOLO & 検出

Ultralytics YOLO検出 / セグメンテーション / ポーズ / 分類 · 8 GB 以上 · JP 4.6-6.2
reComputer run ultralytics-yolo

YOLO11· 8 GB 以上 · JP 5.1.1-6.x
reComputer run yolo11

YOLO26· 8 GB 以上 · JP 5.1.1-7.1
reComputer run yolo26

YOLO26 TensorRT C++ネイティブ、Docker 不要 · JP 6.0-7.2
reComputer run yolo26-tensorrt

YOLOv10· 8 GB 以上 · JP 5.1.1-6.0
reComputer run yolov10

Depth Anything V2単眼深度 · 16 GB · JP 5.1.1-5.1.3
reComputer run depth-anything-v2

Depth Anything V3· 16 GB · JP 6.1-6.2.1
reComputer run depth-anything-v3

NanoOWLオープンボキャブラリ検出 · 8 GB 以上 · JP 5.1.1-6.x
reComputer run nanoowl

ツール群

Ollama(任意のモデル) サイズはモデル + 量子化（通常 Q4）に依存 · 8 GB 以上 · JP 5.1.1-6.x
reComputer run ollama

Whisper(STT) サイズは Whisper バリアント（small/base/large）に依存 · 8 GB 以上 · JP 5.1.1-6.x
reComputer run whisper

Llama-Factory(ファインチューニング) 学習時のフットプリントはモデル + LoRA/QLoRA に依存 · 16 GB 以上 · JP 5.1.1-5.1.3
reComputer run llama-factory

Note: 上記のサイズは表示されている量子化設定に対するものです。より高い精度（Q8 / FP16）では、重みのサイズがおおよそ 2 倍以上になります。各サンプルには、十分な空きディスク容量（イメージ + モデル）も必要です — LLaVA FP16 では合計約 27.4 GB が必要です。正確なイメージサイズについては、jetson-examples README のサンプル一覧を確認してください。

2.2 手動デプロイ：チュートリアル完全インデックス

以下の各カテゴリは、この wiki 上の完全なチュートリアルへのリンクです。自分のタスクに合うものを選び、デバイス上で手順に従ってください。

エンジンの概要

Ollama
簡単セットアップ

MLC LLM
Q4 量子化

llama.cpp
GGUF、完全な制御

TensorRT Edge-LLM
プロダクション · JP 6.2

TensorRT-Model-Connect
オンデバイスビルド · JP 7.2

1. 一般的な LLM

VRAM の目安: 信頼できる計算式 — params × bits/8 + KV cache + system。Q4: 7B ≈ 4-5 GB、27B ≈ 15-18 GB。

• DeepSeek-R1 7B を Ollama で動かす
• DeepSeek 1.5B を MLC で動かす ~60 tok/s
• Llama2-7B Q4 を MLC で動かす
• GPT-OSS 20B を llama.cpp で動かす
• Langchain を使った構造化 LLM 出力
• LlamaIndex + ChromaDB による RAG
• ローカル AI アシスタント（AnythingLLM）
• ローカル OpenClaw（Clawdbot）
• Llama-Factory によるファインチューニング
• Clawdbot で reComputer を開発
• LLM によるハードウェアインターフェース制御
• LLM による音声モーター制御

2. VLM（Vision-Language）

VRAM の目安: おおよそ — LLM 部分 + ビジョンエンコーダ（0.3-4B）+ 入力解像度/タイル数。解像度が高くなると、VRAM は非線形に増加します。

• reComputer で VLM を実行
• Live VLM WebUI 7 個のVLM · リアルタイム
• JoyAI-VL-Interaction Thor · 音声/ビデオ
• 音声インタラクション対応 VLM
• LLaVA 倉庫ガード Ollama llava-llama3 8B
• ゼロショット検出

3. 生成系 & World モデル

VRAM の目安: パラメータ数だけでは決まりません — DiT のパッチ数/フレーム数、時間方向アテンション、U-Net と DiT と MoE の違いにより、同じサイズでも実際の VRAM 使用量は 3〜5 倍変わります。必ずデバイス上で計測してください。

• Stable Diffusion（テキストから画像）
• ComfyUI reComputer run comfyui
• AudioCraft（音楽生成） reComputer run audiocraft
• Wan / 動画生成、World モデル — まだ Jetson での検証済みデプロイはありません。VRAM はモデルごとに計測する必要があります。

4. エンボディド / VLA

VRAM の目安: パラメータ数ではなく、ビジョンエンコーダ + カメラ台数 + 制御レート + アクションのチャンク化で決まります。必ずデバイス上で計測してください。

• GR00T N1.5 + LeRobot SO-101（Thor）
• GR00T N1.6 + LeRobot SO-101（AGX Orin）
• GR00T N1.7 + reBot Arm（J601）
• GraspNet ビジュアル把持（reBot-DM）
• OpenClaw による SO-Arm 制御（Thor）
• NemoClaw による reBot 制御（Thor）
• Jetson-Claw スターター（8 GB）
• GR00T N1.7 フルウェイト TensorRT（JP 7.2）
• 音声制御 reBot Arm B601
• Jetson 上の Microduck RL
• Microduck RL 環境
• Microduck RL 公式ポリシー
• Microduck RL カスタムモーション

5. 音声（ASR / TTS）

VRAM の目安: 小規模モデル — 通常は 8 GB で問題ありません。Whisper/Riva はパイプライン内で LLM と並行して動作します。

• Whisper 音声認識（Speech-to-Text）
• リアルタイム字幕レコーダー
• Dia 音声合成（Text-to-Speech）
• 音声チャットボット（Riva + Llama2）
• Reachy Mini 向け音声 LLM
• ローカル音声チャットボット
• Parler-TTS / AudioCraft reComputer run parler-tts

6. コンピュータビジョン（YOLO & 検出）

VRAM の目安: 小規模 — YOLO モデルは通常 TensorRT 使用時に 8 GB で動作し、入力解像度に応じてスケールします。2.1 節のワンコマンド一覧を参照してください。

• TensorRT 対応 YOLOv8
• DeepStream + TensorRT 対応 YOLOv8
• YOLOv8 の学習とデプロイ
• YOLOv8 カスタム分類
• YOLOv5 物体検出
• YOLOv11 + 深度カメラ
• YOLOv26 デュアルカメラシステム
• Depth Anything V3
• MaskCam
• 交通管理（DeepStream）
• DashCamNet マルチカメラ
• マルチ GMSL カメラ
• 4 カメラ魚眼サラウンドビュー
• マルチタスクビジョン推論エンジン
• ストリーミング Vision エージェント（Qwen3-VL）
• Frigate NVR
• セキュリティ X 線スキャン
• 産業用ビジョン監視
• NVBlox 3D マッピング
• AI NVR

パフォーマンス & 分散処理

• TensorRT Edge-LLM (JP 6.2)
• TensorRT Edge-LLM (JP 7.2)
• TensorRT-Model-Connect (JP 7.2)
• 分散 llama.cpp RPC

3. どのようにデプロイすればよいですか？

AI Lab（オンラインプラットフォーム）

1. reComputer AI Lab Models（Jetson で事前フィルタ済み）を開きます
2. デバイス（例：Jetson Orin Nano）でフィルタし、ベンチマーク付きの CV / LLM / VLM モデルを閲覧します
3. ワンコマンドの Docker コマンドをコピーして、デバイス上で実行します

最適化済みモデル 100 以上、セットアップ不要、ベンチマーク値付き。

ワンコマンド CLI

jetson-examples をインストールし、その後セクション 2.1 の任意のモデルをデプロイします：

sudo apt install python3-pip
pip3 install jetson-examples

# Deploy a model (example)
reComputer run qwen3.5-4b

OpenAI 互換の API エンドポイントを公開し、curl や任意の OpenAI SDK から直接利用できます。

手動デプロイ

セクション 2.2 からエンジンを選び、デバイス上でそのチュートリアルに従います：

• Ollama — 最も簡単なスタート、大規模なモデルライブラリ
• MLC LLM — 量子化（Q4）済みコンパイルモデル
• llama.cpp — 軽量、GGUF、完全な制御
• TensorRT Edge-LLM / Model-Connect — 本番レベルの速度

すべてのチュートリアルは reComputer Jetson デバイスで検証済みです。

4. パフォーマンスベンチマーク：JetPack 6.2 と 7.2 の比較

同じ Qwen3.5-27B Q4_K_M モデル（llama.cpp）を AGX Orin クラスのハードウェア上で実行し、JetPack 6.2 と 7.2 を比較：

指標	JetPack 6.2	JetPack 7.2	変化
モデル読み込み後のメモリ	24.6 GB / 30 GB	14.7 GB / 30 GB	約 40% 減少
推論中の GPU 周波数	930 MHz	1.36 GHz	より高いブースト
プロンプト処理	18.2 tok/s	25.8 tok/s	約 41.8% 高速
トークン生成	4.3 tok/s	5.5 tok/s	約 27.9% 高速

詳細：JetPack 7.2 Deep Dive。

5. FAQ

Jetson 上で DeepSeek を実行できますか？

はい。DeepSeek-R1 7B は Ollama（チュートリアル）経由で Orin NX 16 GB デバイス上で良好に動作します。MLC で量子化された 1.5B バリアントは Orin NX 上で約 60 tok/s に達します（チュートリアル）。

モデルが 1 台のデバイスには大きすぎます — どうすればよいですか？

• より小さい量子化（Q8/FP16 の代わりに Q4_K_M）を使用します。
• コンテキスト長（--max-sequence-length）を制限して KV キャッシュを小さくします。
• llama.cpp RPC（チュートリアル）で複数の reComputer デバイスに推論を分散します。

クラウド GPU は必要ですか？

いいえ。上記の内容はすべて完全にオンデバイスで動作します。データはエッジに留まり、継続的な API 利用料金も発生しません。

その他のリソース

Generative AI 入門

reComputer-Jetson 向け GenAI トピックの概要

Llama-Factory でファインチューニング

データセット → 学習 → エクスポート → デプロイ

Jetson FAQ

トラブルシューティングと使用に関する質問

jetson-examples

ワンコマンドデプロイ用リポジトリ

技術サポート & 製品ディスカッション

当社製品をお選びいただきありがとうございます。私たちは、製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに合わせて選べる複数のコミュニケーションチャネルをご用意しています。