Skip to main content

reComputer Super vs Classic エッジ推論における次世代AI性能

Get One Now 🖱️

はじめに​

reComputer Superシリーズは、reComputer Classicを大幅に強化し、AI性能において最大1.7倍の向上で157 TOPSを実現します。このwikiでは、AIテキスト生成とAIビデオ処理におけるreComputer SuperとreComputer Classicの性能差を比較します。NVIDIA Jetson Orin NX 16GBモジュールをテストプラットフォームとして使用し、reComputer SuperがreComputer Classicと比較して優れた性能を提供することを明確に実証します。

AIテキスト生成​

このセクションでは、Ollamaを使用してdeepseek-r1:7bモデルを読み込み、異なるデバイスでのモデルの推論速度を比較します。reComputer SuperがreComputer Classicと比較して推論速度とGPU周波数において改善されていることが明らかです。

info

このモデルをデプロイするための主な手順は以下の通りです：

ステップ1. jetson-containersをインストールします。

ステップ2. Dockerコンテナに入り、Ollamaサービスを実行します。

ステップ3. Ollamaからdeepseek-r1:7bモデルをプルします。

デモンストレーションを容易にするため、ターミナルに「tell me a story.」と入力し、DeepSeekに短い物語を生成してもらいました。モデルが生成する結果のランダム性により、得られる結果は一般的に同じにはなりません。モデルがトークンを生成する速度に基づいて、デバイスの推論性能を測定することができます。（ビデオで実証されているように、eval rate指標が使用されます）

note

JetsonデバイスにOllamaをデプロイしたい場合は、このチュートリアルを参照して、Nvidia Jetson上で迅速にデプロイする方法を学んでください。

AI動画処理​

このセクションでは、物体検出モデルYOLOv11を2つのデバイスにデプロイし、動画入力を処理する際の性能差を比較しました。結果として、reComputer SuperはreComputer Classicと比較して、1秒間に約2.37倍多くの画像を処理できることが示されました。

info

私たちと同様にデバイスにYOLOv11をデプロイするには、このリポジトリを参照してください。 このモデルをデプロイする主な手順は以下の通りです：

ステップ1. このGitHubリポジトリをクローンします。

ステップ2. ultralyticsから事前訓練済み重みファイルyolo11n.ptをダウンロードします。

ステップ3. このリポジトリに従ってモデルをコンパイルし、推論を実行します。

ステップ4. このリポジトリのyolo11_det_trt.pyスクリプトを参照して推論を実行します。

note

ターミナルに表示される平均FPSは、モデルの純粋な推論速度を反映しており、デバイスの計算能力の違いを直接示しているため、reComputer Superは大幅に高いFPSを示します。しかし、表示ウィンドウの左上に表示されるリアルタイムFPSは、画像キャプチャ、前処理、推論、後処理、表示を含む全体の処理パイプラインのフレームレートを表しています。このFPSは、カメラのフレームレート、ディスプレイのリフレッシュレート、プログラムのフレームレート制限など複数の要因に影響されるため、両デバイスで表示されるFPSが類似し、推論性能の違いが隠されてしまいます。したがって、デバイス性能は、リアルタイム表示FPSのみに依存するのではなく、ターミナルに出力される平均推論FPSに基づいて評価すべきです。

参考文献​

技術サポート & 製品ディスカッション​

私たちの製品をお選びいただき、ありがとうございます！私たちは、お客様の製品体験が可能な限りスムーズになるよう、さまざまなサポートを提供しています。異なる好みやニーズに対応するため、複数のコミュニケーションチャンネルを提供しています。

Loading Comments...