メインコンテンツまでスキップ

JetPack 7.2 徹底解説：Jetson AGX Orin の推論はどう変わるのか？

このFAQでは、JetPack 7.2 が Jetson AGX Orin ユーザーにとって重要である理由、JetPack 7.2 と JetPack 6.2 を比較する際に Seeed が実施した測定内容、および Seeed Jetson DevelopTool を用いてアップグレードパスを評価する方法をまとめています。

Seeed が使用したテストプラットフォームは、reComputer Jetson AGX Orin Developer Kit GMSL Bundle です。

今すぐ入手

FAQ​

Q1: Jetson ユーザー向けの JetPack 7.2 の主な変更点は何ですか？​

JetPack 7.2 は、より新しい Jetson Linux ベース、Ubuntu 24.04、CUDA 13、更新された AI ランタイムコンポーネント、およびメモリ効率やエージェント型 AI ワークフロー向けのプラットフォームレベルの改善により、Jetson ソフトウェアスタックを前進させています。

Jetson AGX Orin 32GB ユーザーにとって最も重要な変更点の 1 つは、Seeed のテストで使用された新しい高性能電力モードです。これにより、同じモジュールでもキャリアボードの電源および熱設計が対応できる場合には、より高い GPU 周波数で動作し、より高い AI スループットを実現できます。

注記

対象のキャリアボードおよびイメージでサポートされる正確なコンポーネントバージョンについては、必ず NVIDIA のリリースノートと Seeed の BSP リリースノートを確認してください。

Q2: Seeed はどのようなハードウェアとソフトウェアを比較しましたか？​

Seeed は、AGX Orin 32GB Developer Kit と reComputer J5011 を用い、JetPack 6.2 と JetPack 7.2 のソフトウェア環境および同一の大規模言語モデル推論ワークロードで比較を行いました。

項目JetPack 6.2 テストJetPack 7.2 テスト
モジュールJetson AGX Orin 32GBJetson AGX Orin 32GB
テストデバイスAGX Orin 32GB Developer KitreComputer J5011
Jetson LinuxL4T 36.4.3L4T 39.2
Ubuntu22.0424.04
CUDA12.613.x
推論エンジンllama.cppllama.cpp
モデルQwen3.5-27B-Q4_K_M.ggufQwen3.5-27B-Q4_K_M.gguf
主なパラメータ-ngl 999 -fa on -ub 512 -t 12-ngl 999 -fa on -ub 512 -t 12

Q3: Seeed はどのようなメモリおよび性能改善を確認しましたか？​

Seeed の比較では、JetPack 7.2 によりモデル読み込み後のメモリ使用量が削減され、プロンプト処理速度とトークン生成速度の両方が向上しました。

指標JetPack 6.2JetPack 7.2観測された変化
モデル読み込み後のメモリ24.6 GB / 30 GB14.7 GB / 30 GB約 40% 減少
推論中の GPU 周波数930 MHz1.36 GHzより高いブースト周波数
プロンプト処理18.2 tokens/s25.8 tokens/s約 41.8% 高速化
トークン生成4.3 tokens/s5.5 tokens/s約 27.9% 高速化

最も実用的な結果はメモリの余裕です。JetPack 6.2 実行時には、27B モデルが読み込み後に利用可能なメモリの大部分を占有していました。JetPack 7.2 実行時には、システムはおよそ 10 GB 多くのメモリを利用可能な状態に保っており、これは LLM ワークロードと並行してビジョン前処理、ロボティクスミドルウェア、その他のサービスを実行する際に有用です。

Q4: JetPack 7.2 と JetPack 6.2 の比較結果を視聴できますか？​

はい。以下の動画で比較の様子を確認できます。

Q5: Jetson デバイスを JetPack 7.2 にアップグレードすべきですか？​

まずは次の表を参考にしてください。

シナリオ推奨事項
新規 Jetson AGX Orin プロジェクト必要な BSP、ドライバ、およびアプリケーションスタックが利用可能であれば、JetPack 7.2 から開始することを検討してください。
既存の JetPack 6.x プロジェクト移行前に、カーネルモジュール、CUDA 依存関係、TensorRT エンジン、カメラドライバ、および周辺機器ドライバを検証してください。
メモリに制約のある LLM または VLM ワークロード測定されたメモリ削減により、より大きなモデルやマルチサービスパイプラインを実行しやすくなる可能性があるため、JetPack 7.2 を評価する価値があります。
カスタムキャリアボードを用いた本番システムapt upgrade の実行だけでアップグレードしないでください。Seeed が提供する検証済みのフルイメージ、または正式にサポートされた OTA パスを使用してください。
注意

高性能モードでは、電力および熱の要件が増加します。高電力モードを有効にする前に、キャリアボード、電源アダプタ、筐体、および放熱設計が対象ワークロードを継続的に支えられることを確認してください。

Q6: Seeed Jetson DevelopTool を使って JetPack 7.2 にアップグレードするにはどうすればよいですか？​

Seeed Jetson DevelopTool は、Jetson のファームウェアダウンロード、フラッシュ、デバイス接続、および OTA 操作のためのガイド付きワークフローを提供します。

JetPack 6.x から JetPack 7.x へのようなメジャーバージョン移行では、Seeed が特定の製品および元イメージ向けに検証済み OTA パスを明示的に提供していない限り、フルフラッシュを推奨します。

JetPack 7.2 のフラッシュおよび OTA に関する完全な判断フロー、DevelopTool の動画、検証コマンド、移行チェックリストについては、Flash and OTA Upgrade to JetPack 7.2 を参照してください。

一般的なワークフロー：

  1. Seeed Jetson DevelopTool をインストールして起動します。
  2. Jetson 製品またはキャリアボードのモデルを選択します。
  3. JetPack 7.2 に対応するターゲットの L4T または JetPack バージョンを選択します。
  4. ツールから BSP パッケージをダウンロードして展開します。
  5. Jetson デバイスを Force Recovery Mode にします。
  6. ホスト PC からデバイスを検出します。
  7. フラッシュを開始し、デバイスが再起動するまで待ちます。
  8. 初回起動のセットアップを完了し、システムバージョンを確認します。

ツールの詳細については、Seeed Jetson DevelopTool を参照してください。

Q7: アップグレード後に何を検証すべきですか？​

フラッシュまたはアップグレード後、本番ワークロードを実行する前に次の項目を確認してください。

  • JetPack、L4T、CUDA、cuDNN、および TensorRT のバージョン。
  • 負荷時の GPU 周波数、電力モード、および熱挙動。
  • カメラ、GMSL、Ethernet、CAN、USB、M.2 などの周辺インターフェース。
  • カスタムカーネルモジュールおよびツリー外ドライバ。
  • PyTorch、TensorRT エンジン、llama.cpp ビルド、CUDA 拡張などを含む AI フレームワークの互換性。
  • 電力および温度の安定性を確認するための長時間ストレステスト。

リソース​

技術サポート & 製品ディスカッション​

弊社製品をお選びいただきありがとうございます。製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに応じて選択いただけるよう、複数のコミュニケーションチャネルを用意しています。

Loading Comments...