Controle de Luz Baseado em Pose com Node-Red e Raspberry Pi com AIkit
Introdução
Este wiki irá guiá-lo sobre como executar o YOLOv8 usando um AI kit, usar o YOLOv8 para monitorar sua postura e, por fim, controlar suas luzes com base na sua postura. Neste projeto, uma câmera USB captura sua pose, e yolov8n é executado no AI kit com o reComputer R1000 para detectar sua pose. O vídeo processado, exibindo a pose detectada, é então transmitido em tempo real para o reTerminal DM usando o gstreamer. Enquanto isso, as coordenadas das articulações são enviadas usando mqtt para o Node-RED, que é implantado no reComputer R1000. Por fim, o fluxo Node-RED controla as luzes inteligentes com base nas coordenadas das articulações.
Preparar o Hardware
| reComputer r1000 | reTerminal DM | Raspberry Pi AI Kit |
|---|---|---|
 |  |  |
Executar este projeto
No reComputer R1000
Passo 1: Instalar o AI kit
Por favor, consulte este wiki e certifique-se de instalar o AI kit no seu reComputer R1000.
Passo 2: Instalar o projeto
Baixe o projeto com o comando abaixo:
git clone https://github.com/LJ-Hao/Pose-Based_Light_Control_with_Node-Red_and_Raspberry_Pi_with_AIkit.git && cd Pose-Based_Light_Control_with_Node-Red_and_Raspberry_Pi_with_AIkit
Passo 3: Executar a estimativa de pose
Edite o arquivo pose_estimation.py e altere o mqtt_server para o endereço IP do seu reTerminal DM. E altere o Gstreamer pipeline para o endereço IP do seu reTerminal DM. Em seguida, execute o comando abaixo para iniciar a estimativa de pose.
bash run.sh
Passo 4: Instalar o Node-RED
Instale o Node-RED. Você pode baixar o Node-RED com apenas uma linha de comando:
bash <(curl -sL https://raw.githubusercontent.com/node-red/linux-installers/master/deb/update-nodejs-and-nodered)
Passo 5: Importar flows.json
Importe os arquivos do projeto. Clique em Settings => Import no canto superior direito, click select a file para importar na nova janela pop-up, selecione flows.jeson e, por fim, clique em Import.
Passo 6: Baixar os controles necessários
Após importar o arquivo do projeto, o sistema pode informar que seu Node-RED está sem alguns controles. Você precisa baixar os seguintes controles:
@bartbutenaers/node-red-rtsp-to-mjpeg
@chirpstack/node-red-contrib-chirpstack
@flowfuse/node-red-dashboard
node-bacnet-contrib-extended
node-red-contrib-buffer-parser
node-red-contrib-image-output
node-red-contrib-image-tools
node-red-contrib-modbus
node-red-contrib-msg-speed
node-red-contrib-multipart-stream-encoder
node-red-contrib-onvif
node-red-contrib-play-audio
node-red-dashboard
node-red-node-base64
node-red-node-mysql
node-red-node-pi-gpio
node-red-node-ping
node-red-node-serialport
node-red-node-smooth
node-red-sensecap-paas
node-red-node-random
Tomando node-red-node-random como exemplo, clique em Settings => Manage Palette no canto superior direito, selecione a coluna Install na nova janela, digite node-red-node-random e, por fim, clique no botão Install.
Passo 7: Implantar o projeto
Clique no botão Deploy no canto superior direito e o sistema será executado normalmente.
No reTerminal DM
Passo 1: Instalar o gstreamer no reTerminal DM
Baixe o gstreamer com o comando abaixo:
sudo apt-get install libgstreamer1.0-dev libgstreamer-plugins-base1.0-dev libgstreamer-plugins-bad1.0-dev gstreamer1.0-plugins-base gstreamer1.0-plugins-good gstreamer1.0-plugins-bad gstreamer1.0-plugins-ugly gstreamer1.0-libav gstreamer1.0-tools gstreamer1.0-x gstreamer1.0-alsa gstreamer1.0-gl gstreamer1.0-gtk3 gstreamer1.0-qt5 gstreamer1.0-pulseaudio
Passo 2: Instalar o repositório
Baixe o repositório com o comando abaixo:
git clone https://github.com/LJ-Hao/Pose-Based_Light_Control_with_Node-Red_and_Raspberry_Pi_with_AIkit.git && cd Pose-Based_Light_Control_with_Node-Red_and_Raspberry_Pi_with_AIkit
Passo 3: Executar o receptor de vídeo
python3 video_receiver.py
Resultado
Nós mostramos esta demonstração em uma transmissão ao vivo no YouTube que começa em 19:47. E você pode ver que a luz acende quando a apresentadora bate palmas, depois a luz apaga quando a apresentadora acena a mão, aproveite esta demonstração:
Suporte Técnico & Discussão de Produtos
Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.