Skip to main content

reComputer Industrial J4012でLLaVaを使用して倉庫を監視する方法

はじめに​

このwikiでは、reComputer Industrial J4012にVLM（Visual Learning Model）を展開し、USBカメラをVLMの入力として使用する方法について説明します。システムが安全な状況を検出すると、RS485制御により信号灯が緑色に点灯します。火災や武器を持った人の存在などの危険な状況では、信号灯が黄色に点灯します。光センサーがRS485経由で倉庫の照明が消されたことを検出すると、信号灯が赤色に点灯します。

前提条件​

今すぐ購入 🖱️

必要なコンポーネントに関する注意： Jetsonに加えて、以下のRS485コンポーネントが必要です：

  • 1つのインターフェースを2つに分割するRS485ハブ。
  • RS485色変更ライト。
  • RS485光センサー。

システム環境の初期化​

  1. JP6で初期システムをインストールした後、CUDAおよびその他のライブラリのインストールを確認する必要があります。sudo apt-get install nvidia-jetpackを実行して確認およびインストールできます。

  2. 以下のようなコマンドを使用してollamaをインストールします：

curl -fsSL https://ollama.com/install.sh | sh
  1. 以下のようにollamaでLLaVaを実行します：
ollama run llava-llama3:8b

プロジェクトのインストール​

  1. 以下のようなコマンドを使用してuvをインストールします
pip install uv
  1. プロジェクトをクローンします
git clone https://github.com/Seeed-Projects/VLM-Guard.git
  1. uvを使用して環境を同期します
cd VLM_Guard
uv sync
source .venv/bin/activate

プロジェクトの実行​

  1. 以下のスクリプトを使用してプロジェクトを実行します。
./start_demo.sh
  1. Webブラウザを開き、localhost:5002を入力してアプリケーションインターフェースを開きます

結果​

ビデオで実演されているように、倉庫ライトは通常の操作中は緑色を示し、ナイフを持った人がいるなどの危険な状況では黄色を示し、光センサーが光を検出しない場合（倉庫照明の故障を示す）は赤色を示します。また、VLMモデルを介して履歴データや必要な情報のクエリとの相互作用も可能です。

技術サポート & 製品ディスカッション​

弊社製品をお選びいただき、ありがとうございます！弊社製品での体験が可能な限りスムーズになるよう、さまざまなサポートを提供いたします。さまざまな好みやニーズに対応するため、複数のコミュニケーションチャネルを提供しています。

Loading Comments...