Pular para o conteúdo principal

Como usar o LLaVa no reComputer Industrial J4012 para monitorar seu armazém

Introdução​

Este wiki descreve a implantação de um VLM (Visual Learning Model) no reComputer Industrial J4012, usando uma câmera USB como entrada para o VLM. Quando o sistema detecta uma situação segura, a luz de sinalização ficará verde por meio do controle RS485. Em situações perigosas, como um incêndio ou a presença de alguém com uma arma, a luz de sinalização ficará amarela. Quando o sensor de luz detectar o sinal de que a luz do armazém foi apagada via RS485, a luz de sinalização ficará vermelha.

Pré-requisitos​

Adquira agora 🖱️

Observação sobre os componentes necessários: Além do Jetson, são necessários os seguintes componentes RS485:

  • Um hub RS485 para dividir uma interface em duas.
  • Uma luz de sinalização RS485 com mudança de cor.
  • Um sensor de luz RS485.

Inicializar o ambiente do sistema​

  1. Após instalar o sistema inicial com o JP6, você precisa verificar a instalação do CUDA e de outras bibliotecas. Você pode verificá-las e instalá-las executando sudo apt-get install nvidia-jetpack.

  2. Instale o ollama usando um comando como o abaixo:

curl -fsSL https://ollama.com/install.sh | sh
  1. Execute o LLaVa com o ollama como abaixo:
ollama run llava-llama3:8b

Instalar o projeto​

  1. Use um comando como o abaixo para instalar o uv
pip install uv
  1. Clonar o projeto
git clone https://github.com/Seeed-Projects/VLM-Guard.git
  1. Use o uv para sincronizar o ambiente
cd VLM_Guard
uv sync
source .venv/bin/activate

Executar o projeto​

  1. Use o script abaixo para executar o projeto.
./start_demo.sh
  1. Abra um navegador web e, em seguida, digite localhost:5002 para abrir a interface da aplicação

Resultado​

Conforme demonstrado no vídeo, a luz do armazém indica verde durante as operações normais, amarelo em situações perigosas, como quando alguém está segurando uma faca, e vermelho quando o sensor de luz não detecta nenhuma luz — indicando uma falha na iluminação do armazém, além de permitir a interação com dados históricos e consultas por meio do modelo VLM para obter as informações desejadas.

Suporte Técnico e Discussão de Produto​

Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes formas de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...