Skip to main content

reComputer Jetson で DeepSeek を迅速にデプロイ

note

この文書は AI によって翻訳されています。内容に不正確な点や改善すべき点がございましたら、文書下部のコメント欄または以下の Issue ページにてご報告ください。
https://github.com/Seeed-Studio/wiki-documents/issues

reComputer Jetson で DeepSeek を迅速にデプロイ

はじめに​

DeepSeek は、効率性、精度、リアルタイム処理に最適化された最先端の AI モデルスイートです。エッジコンピューティング向けに高度に最適化されており、Jetson デバイス上で高速で低遅延の AI 推論を可能にし、クラウドコンピューティングへの依存を減らしながらパフォーマンスを最大化します。

このウィキでは、DeepSeek モデルを reComputer Jetson デバイス上でデプロイし、エッジで効率的な AI 推論を実現するためのステップバイステップガイドを提供します。

前提条件​

  • 8GB 以上のメモリを搭載した Jetson デバイス。
  • Jetson デバイスには、Jetpack 5.1.1 オペレーティングシステムまたはそれ以降のバージョンが事前にフラッシュされている必要があります。
note

このウィキでは、reComputer J4012 - Edge AI Computer with NVIDIA® Jetson™ Orin™ NX 16GB を使用してタスクを実行しますが、他の Jetson デバイスを使用することも可能です。

今すぐ購入 🖱️

はじめに​

ハードウェア接続​

  • Jetson デバイスをネットワーク、マウス、キーボード、モニターに接続します。
note

もちろん、ローカルネットワーク経由で SSH を使用して Jetson デバイスにリモートアクセスすることも可能です。

Ollama 推論エンジンのインストール​

Ollama は、大規模言語モデル (LLM) をローカルで最小限のセットアップで実行するために設計された軽量で効率的な推論エンジンです。簡単に使用できるインターフェースと、Jetson デバイスを含むさまざまなハードウェア構成向けに最適化されたランタイムを提供することで、AI モデルのデプロイを簡素化します。

Ollama をインストールするには、Jetson デバイスのターミナルウィンドウを開き、以下のコマンドを実行します：

curl -fsSL https://ollama.com/install.sh | sh

このスクリプトは、Ollama を自動的にダウンロードしてシステムにセットアップし、AI アプリケーションのシームレスなローカル推論を可能にします。

DeepSeek のロードと実行​

Ollama は現在、さまざまなバージョンの DeepSeek モデルをサポートしており、ニーズに応じて異なるモデルサイズをデプロイできます。デモンストレーションの目的で、デフォルトの DeepSeek-R1 7B モデルを使用します。

ollama run deepseek-r1

このコマンドは、DeepSeek モデルをダウンロードして、Ollama を使用したローカル推論の準備を行います。 モデルの読み込みが完了すると、ターミナルウィンドウでクエリを入力できます。

効果のデモンストレーション​

デモンストレーションビデオでは、Jetson デバイスがわずか 20W で動作しながら、驚異的な推論速度を達成している様子が示されています。

参考資料​

技術サポートと製品ディスカッション​

弊社製品をお選びいただきありがとうございます！製品の使用体験がスムーズになるよう、さまざまなサポートを提供しています。お客様の好みやニーズに応じた複数のコミュニケーションチャネルをご用意しています。

Loading Comments...