Pular para o conteúdo principal

Primeiros Passos com TensorFlow Lite no Seeed Studio XIAO nRF52840 Sense

pir

Este wiki demonstrará como você pode usar TensorFlow Lite no Seeed Studio XIAO nRF52840 Sense e detectar gestos como socos e flexões usando o acelerômetro integrado. Aqui o treinamento dos dados será feito no próprio dispositivo.

Para aplicações de IA embarcada, recomendamos fortemente o uso da "Seeed nrf52 mbed-enabled Boards Library".

Configuração de software​

Certifique-se primeiro de seguir o wiki "Primeiros Passos com Seeed Studio XIAO nRF52840 (Sense)" para a configuração inicial de hardware e software.

Agora vamos prosseguir com o restante da configuração de software.

pir

pir

  • Passo 3. Abra a Arduino IDE, navegue até Sketch > Include Library > Add .ZIP Library... e abra os dois arquivos zip baixados, um após o outro

pir

  • Passo 4. Navegue até File > Examples > Seeed Arduino LSM6DS3 > IMU_Capture para abrir IMU_Capture.ino

pir

  • Passo 5. Faça upload do código e abra o Serial Monitor

Nota: Depois de fazer o upload do código, ele não será executado automaticamente até que você clique em Serial Monitor no canto superior direito da janela do Arduino.

Treinar dados​

Ação de soco​

Com o monitor serial aberto, comece a treinar dados para a ação de soco.

  • Passo 1. Segure o Seeed Studio XIAO nRF52840 Sense na palma da sua mão e comece a dar socos para a frente e você verá alguns dados sendo impressos no monitor serial

pir

pir

  • Passo 2. Repita a ação de soco cerca de 10 vezes e você verá novos dados gerados após cada soco

  • Passo 3. Copie e cole a saída completa do monitor serial em um arquivo de texto e salve o arquivo de texto como punch.csv

Nota: Copie também a primeira linha, que contém aX,aY,aZ,gX,gY,gZ

Ação de flexão​

  • Passo 1. Reconecte o cabo USB ao Seeed Studio XIAO nRF52840 Sense, abra o monitor serial, segure o Seeed Studio XIAO nRF52840 Sense na palma da sua mão e comece a flexionar para dentro e você verá alguns dados sendo impressos no monitor serial

pir

pir

  • Passo 2. Repita a ação de flexão cerca de 10 vezes e você verá novos dados gerados após cada flexão

  • Passo 3. Copie e cole a saída completa do monitor serial em um arquivo de texto e salve o arquivo de texto como flex.csv

Nota: Copie também a primeira linha, que contém aX,aY,aZ,gX,gY,gZ

Gerar arquivo de modelo TensorFlow Lite​

Agora vamos gerar um arquivo de modelo TensorFlow Lite (model.h), usando os arquivos punch.csv e flex.csv que criamos antes.

pir

  • Passo 2. Navegue até a aba de arquivos no painel de navegação à esquerda, arraste e solte os arquivos punch.csv e flex.csv ali dentro

pir

  • Passo 3. Na seção Setup Python Environment, altere o código de pip install tensorflow==2.0.0-rc1 para pip install tensorflow

pir

  • Passo 4. Navegue até Runtime > Run all para executar todas as células de código

pir

  • Passo 5. Clique em Run anyway na mensagem de erro que aparecer

pir

  • Passo 6. Depois que todas as células de código forem executadas, você encontrará um novo arquivo model.h gerado na aba files que vimos antes

pir

Nota: Se você não conseguir ver o arquivo model.h acima, atualize a página.

  • Passo 7. Clique com o botão direito no arquivo e clique em Download para baixar o arquivo para o seu PC

Inferência​

Agora usaremos o arquivo de modelo TensorFlow Lite baixado (model.h) para reconhecer as ações de soco e flexão a partir do Seeed Studio XIAO nRF52840 Sense.

  • Passo 1. Navegue até o caminho da biblioteca Seeed_Arduino_LSM6DS3 (normalmente em Documents > Arduino > libraries > Seeed_Arduino_LSM6DS3) e acesse examples > IMU_Classifier

pir

  • Passo 2. Substitua o arquivo model.h pelo que baixamos anteriormente

  • Passo 3. Dê um clique duplo em IMU_Classifier.ino e faça upload do código para o Seeed Studio XIAO nRF52840 Sense.

Ação de soco​

Abra o monitor serial e realize uma ação de soco. Você verá que será dado um resultado próximo de 1 ao lado de punch

pir

Ação de flexão​

Realize uma ação de flexão. Você verá que será dado um resultado próximo de 1 ao lado de flex

pir

Recursos​

Suporte Técnico & Discussão de Produtos​

Obrigado por escolher nossos produtos! Estamos aqui para fornecer a você diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...