Skip to main content

reComputer Jetson上でDeepSeekを迅速にデプロイする

はじめに​

DeepSeekは、効率性、精度、リアルタイム処理に最適化された最先端のAIモデルスイートです。エッジコンピューティング向けの高度な最適化により、DeepSeekはJetsonデバイス上で直接高速で低遅延のAI推論を可能にし、クラウドコンピューティングへの依存を減らしながらパフォーマンスを最大化します。

このwikiでは、エッジでの効率的なAI推論のためにreComputer Jetsonデバイス上にDeepSeekモデルをデプロイするためのステップバイステップガイドを提供します。

前提条件​

  • 8GB以上のメモリを搭載したJetsonデバイス。
  • Jetsonデバイスには、jetpack 5.1.1オペレーティングシステム以降が事前にフラッシュされている必要があります。
note

このwikiでは、reComputer J4012 - NVIDIA® Jetson™ Orin™ NX 16GB搭載エッジAIコンピュータを使用して以下のタスクを実行しますが、他のJetsonデバイスでも試すことができます。

今すぐ購入 🖱️

はじめに​

ハードウェア接続​

  • Jetsonデバイスをネットワーク、マウス、キーボード、モニターに接続します。
note

もちろん、ローカルネットワーク経由でSSHを使用してJetsonデバイスにリモートアクセスすることも可能です。

Ollama推論エンジンのインストール​

Ollamaは、最小限のセットアップで大規模言語モデル（LLM）をローカルで実行するために設計された軽量で効率的な推論エンジンです。使いやすいインターフェースとJetsonデバイスを含む様々なハードウェア構成に最適化されたランタイムを提供することで、AIモデルのデプロイメントを簡素化します。

Ollamaをインストールするには、Jetsonデバイス上でターミナルウィンドウを開き、以下のコマンドを実行します：

curl -fsSL https://ollama.com/install.sh | sh

このスクリプトは自動的にOllamaをダウンロードしてシステムにセットアップし、AIアプリケーションのシームレスなローカル推論を可能にします。

DeepSeekの読み込みと実行​

Ollamaは現在、DeepSeekモデルの様々なバージョンをサポートしており、ニーズに基づいて異なるモデルサイズをデプロイできます。デモンストレーションの目的で、デフォルトのDeepSeek-R1 7Bモデルを使用します。

ollama run deepseek-r1

このコマンドは、Ollamaを使用してローカル推論用のDeepSeekモデルをダウンロードして準備します。 モデルの読み込みが完了したら、ターミナルウィンドウでクエリを入力できます。

効果のデモンストレーション​

デモンストレーション動画では、Jetsonデバイスがわずか20Wで動作しながら、印象的な推論速度を実現しています。

参考文献​

技術サポート & 製品ディスカッション​

弊社製品をお選びいただき、ありがとうございます！弊社製品での体験が可能な限りスムーズになるよう、様々なサポートを提供しています。異なる好みやニーズに対応するため、複数のコミュニケーションチャンネルを提供しています。

Loading Comments...