reComputer Super と Classic の比較:エッジ推論における次世代 AI パフォーマンス

はじめに
reComputer Super シリーズは reComputer Classic を強化し、AI 性能で最大 1.7 倍、157 TOPS のブーストを実現します。本 Wiki では、AI テキスト生成と AI ビデオ処理における reComputer Super と reComputer Classic の性能差を比較します。テストプラットフォームとしてNVIDIA Jetson Orin NX 16GB モジュールを使用し、reComputer Super が reComputer Classic と比べて明確に優れた性能を発揮することを示します。
AI テキスト生成
このセクションでは、Ollama を使用して deepseek-r1:7b モデルをロードし、異なるデバイスにおけるモデルの推論速度を比較します。reComputer Super は、reComputer Classic と比較して推論速度と GPU クロックの向上を示します。
このモデルをデプロイする主な手順は次のとおりです:
ステップ 1. jetson-containers をインストールします。
ステップ 2. Docker コンテナに入って Ollama サービスを実行します。
ステップ 3. Ollama から deepseek-r1:7b モデルをプルします。
デモを分かりやすくするために、ターミナルに「tell me a story.」と入力し、DeepSeek に短い物語を生成させました。モデルが生成する結果にはランダム性があるため、得られる結果は一般的に同じにはなりません。モデルがトークンを生成する速度に基づいて、デバイスの推論性能を測定することができます。(動画で示されているように、eval rate 指標が使用されています)
Jetson デバイスに Ollama をデプロイしたい場合は、このチュートリアルを参照して、Nvidia Jetson 上に素早くデプロイする方法を学んでください。
AI ビデオ処理
このセクションでは、2 台のデバイスに物体検出モデル YOLOv11 をデプロイし、ビデオ入力を処理する際の性能差を比較しました。その結果、reComputer Super は reComputer Classic と比べて、1 秒あたり約 2.37 倍多くの画像を処理できることが示されました。
このリポジトリを参照することで、私たちと同様にお使いのデバイス上で YOLOv11 をデプロイできます。 このモデルをデプロイする主な手順は次のとおりです:
ステップ 1. このGitHub リポジトリをクローンします。
ステップ 2. ultralytics から事前学習済みの重みファイル yolo11n.pt をダウンロードします。
ステップ 3. このリポジトリに従ってモデルをコンパイルし、推論を実行します。
ステップ 4. 推論を実行するために、このリポジトリ内の yolo11_det_trt.py スクリプトを参考にします。
ターミナルに表示される Average FPS は、モデルの純粋な推論速度を反映しており、デバイスの計算能力の差を直接示します。そのため、reComputer Super では FPS が大幅に高くなっています。一方、表示ウィンドウ左上に表示されるリアルタイム FPS は、画像取得、前処理、推論、後処理、表示を含む処理パイプライン全体のフレームレートを表します。この FPS は、カメラのフレームレート、ディスプレイのリフレッシュレート、プログラムのフレームレート制限など、複数の要因の影響を受けるため、両デバイスで表示される FPS が類似し、推論性能の差が見えにくくなります。したがって、デバイス性能はリアルタイム表示の FPS のみに依存するのではなく、ターミナルに出力される平均推論 FPS に基づいて評価する必要があります。
参考資料
- https://www.jetson-ai-lab.com/tutorial_ollama.html
- https://www.deepseek.com/
- https://wiki.seeedstudio.com/ja/deploy_deepseek_on_jetson/
- https://www.seeedstudio.com/edge-ai/generative-ai
- https://github.com/ultralytics/ultralytics
- https://github.com/wang-xinyu/tensorrtx?tab=readme-ov-file
関連リソース
- reComputer Super のハードウェアおよびインターフェースの使用方法
- reComputer Jetson 向けに PyTorch をインストール
- Jetson 上で MTP を用いて llama.cpp を高速化
- reComputer Super 製品ページ
技術サポートと製品ディスカッション
弊社製品をお選びいただきありがとうございます。製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに応じて選べる複数のコミュニケーションチャネルをご用意しています。