Skip to main content

如何在 reComputer Industrial J4012 上使用 LLaVa 监控您的仓库

介绍​

本教程介绍在 reComputer Industrial J4012 上部署 VLM（视觉学习模型），使用 USB 摄像头作为 VLM 的输入。当系统检测到安全情况时，信号灯将通过 RS485 控制变为绿色。在危险情况下，如火灾或有人持有武器时，信号灯将变为黄色。当光传感器通过 RS485 检测到仓库灯光被关闭的信号时，信号灯将变为红色。

前提条件​

立即购买 🖱️

所需组件说明： 除了 Jetson 之外，还需要以下 RS485 组件：

  • 一个 RS485 集线器，用于将一个接口分成两个。
  • 一个 RS485 变色灯。
  • 一个 RS485 光传感器。

初始化系统环境​

  1. 使用 JP6 安装初始系统后，您需要检查 CUDA 和其他库的安装。您可以通过运行 sudo apt-get install nvidia-jetpack 来验证和安装它们。

  2. 使用如下命令安装 ollama：

curl -fsSL https://ollama.com/install.sh | sh
  1. 使用 ollama 运行 LLaVa，如下所示：
ollama run llava-llama3:8b

安装项目​

  1. 使用如下命令安装 uv
pip install uv
  1. 克隆项目
git clone https://github.com/Seeed-Projects/VLM-Guard.git
  1. 使用 uv 同步环境
cd VLM_Guard
uv sync
source .venv/bin/activate

运行项目​

  1. 使用下面的脚本运行项目。
./start_demo.sh
  1. 打开网页浏览器，然后输入 localhost:5002 打开应用程序界面

结果​

如视频所示，仓库灯在正常操作期间显示绿色，在危险情况下（如有人持刀）显示黄色，当光传感器检测不到光线时显示红色——表示仓库照明故障，同时还允许通过 VLM 模型与历史数据和查询进行交互以获取所需信息。

技术支持与产品讨论​

感谢您选择我们的产品！我们在这里为您提供不同的支持，以确保您使用我们产品的体验尽可能顺畅。我们提供多种沟通渠道，以满足不同的偏好和需求。

Loading Comments...