Skip to main content

Cómo usar LLaVa en el reComputer Industrial J4012 para monitorear tu almacén

Introducción​

Este wiki describe el despliegue de un VLM (Modelo de Aprendizaje Visual) en el reComputer Industrial J4012, usando una cámara USB como entrada para el VLM. Cuando el sistema detecta una situación segura, la luz de señal se volverá verde a través del control RS485. En situaciones peligrosas, como un incendio o la presencia de alguien con un arma, la luz de señal se volverá amarilla. Cuando el sensor de luz detecta la señal de la luz del almacén siendo apagada a través de RS485, la luz de señal se volverá roja.

Prerrequisitos​

Obtener Uno Ahora 🖱️

Nota sobre Componentes Requeridos: Además del Jetson, se requieren los siguientes componentes RS485:

  • Un hub RS485 para dividir una interfaz en dos.
  • Una luz RS485 que cambia de color.
  • Un sensor de luz RS485.

Inicializar el entorno del sistema​

  1. Después de instalar el sistema inicial con JP6, necesitas verificar la instalación de CUDA y otras librerías. Puedes verificarlas e instalarlas ejecutando sudo apt-get install nvidia-jetpack.

  2. Instalar ollama usando un comando como el siguiente:

curl -fsSL https://ollama.com/install.sh | sh
  1. Ejecutar LLaVa con ollama como se muestra a continuación:
ollama run llava-llama3:8b

Instalar proyecto​

  1. Usar un comando como el siguiente para instalar uv
pip install uv
  1. Clonar proyecto
git clone https://github.com/Seeed-Projects/VLM-Guard.git
  1. Usar uv para sincronizar el entorno
cd VLM_Guard
uv sync
source .venv/bin/activate

Ejecutar proyecto​

  1. Usar el script a continuación para ejecutar el proyecto.
./start_demo.sh
  1. Abrir un navegador web, luego ingresar localhost:5002 para abrir la interfaz de la aplicación

Resultado​

Como se demuestra en el video, la luz del almacén indica verde durante operaciones normales, amarillo en situaciones peligrosas como cuando alguien está sosteniendo un cuchillo, y rojo cuando el sensor de luz no detecta luz—señalando una falla en la iluminación del almacén, mientras también permite la interacción con datos históricos y consultas a través del modelo VLM para obtener la información deseada.

Soporte Técnico y Discusión de Productos​

¡Gracias por elegir nuestros productos! Estamos aquí para brindarle diferentes tipos de soporte para asegurar que su experiencia con nuestros productos sea lo más fluida posible. Ofrecemos varios canales de comunicación para satisfacer diferentes preferencias y necesidades.

Loading Comments...