Workspace Grove Vision AI v2 na plataforma SenseCraft AI
Introdução
Conectar Grove-Vision AI v2
- Conecte o Grove - Vision AI V2 à câmera por meio do cabo de conexão CSI.
- Conecte o Grove - Vision AI V2 ao seu computador via USB e selecione a unidade de depuração USB Single/serial para conectar.
Use Chrome, Opera ou Edge para implantar modelos de IA no XIAO ESP32S3 Sense e no Grove Vision AI v2.
- Depois que o dispositivo estiver conectado, ele lerá as informações do dispositivo, as informações do modelo e executará o modelo para inferência. Os usuários podem ajustar as configurações de Confidence e IoU para refinar a precisão da inferência do modelo.
- Confidence: Confidence refere-se ao nível de certeza ou probabilidade atribuído por um modelo às suas previsões
- IoU: IoU é usado para avaliar a precisão das caixas delimitadoras previstas em comparação com as caixas delimitadoras reais
Substituir modelo de IA
Se você precisar substituir o modelo que está sendo executado atualmente no dispositivo, a plataforma SenseCrfat AI oferece duas maneiras de fazer isso
- Selecione um modelo disponível publicamente na plataforma SenseCraft AI ou um modelo na conta do usuário para substituí-lo.
- Envie diretamente um modelo para substituição.
- Model Name: insira um nome
- Model File: envie um modelo no formato tflite
- ID Object: classe de reconhecimento do modelo
Configuração
Se você precisar enviar os resultados de inferência do dispositivo para o seu próprio serviço MQTT ou para a plataforma Sensecraft Data, configure o Wi-Fi e o MQTT. Em seguida, usaremos a plataforma Sensecraft Data como exemplo.
- Insira um Wi-Fi 2,4G válido.
- Acesse a plataforma SenseCraft Data e faça login.
Você pode usar a mesma conta para fazer login tanto no Sensecraft AI quanto na plataforma Sensecraft Data.
- Acesse a página Development Kit e clique no botão "Create Development Kit".
- Insira o nome do dispositivo e selecione "Grove-Vision AI v2" como o tipo de dispositivo.
- Depois que o dispositivo for criado, clique em "connect" e, em seguida, copie e cole Host, Port, clientId, Username e Password na sequência.
- Após preencher o formulário, clique no botão Save. Quando o dispositivo aplicar as alterações com sucesso, vá para a página Process. Você verá o IP Address e o Service Status: MQTT connected.
- Agora você pode retornar à página Development Kit da plataforma Sensecraft Data. Clique no EUI do dispositivo para entrar nos detalhes do dispositivo, onde você poderá ver os resultados de inferência.
Saída
Defina uma condição para que, quando o alvo detectado atender aos critérios, o LED amarelo no XIAO ESP32S3 acenda.
Exemplo: se o dispositivo detectar Face e a confiança for maior que 43, acenda o LED amarelo do dispositivo
Treinar
SenseCraft AI integra YoLo-World para gerar rapidamente modelos de IA de classe única com base na classe inserida pelo usuário, que podem ser implantados diretamente em dispositivos Grove-Vision AI v2.
Geração rápida
- Insira a classe, clique no botão Quick Generate e aguarde a geração do modelo.
- Após a geração do modelo, você pode selecionar o modelo e clicar no botão Deploy to device para gravar o modelo gerado no dispositivo.
- Visualize o resultado da inferência
Capture to Train
O modelo gerado rapidamente pode não ter alta precisão. Você pode clicar em Capture to Train para tirar e coletar imagens do alvo. Envie as imagens coletadas para o Yolo-World para treinamento otimizado. O modelo otimizado terá melhor precisão.
- Use a câmera Grove-Vision AI v2 para mirar no alvo e clique no botão Capture para coletar imagens.
- Selecione e confirme o alvo nas imagens capturadas.
- Repita as etapas 1-2 para coletar pelo menos 10 fotos para treinamento. Após coletar as imagens, clique no botão Train Model.
- Quando o modelo for gerado, selecione o modelo recém-gerado, implante-o no dispositivo e verifique os resultados de inferência.
Suporte técnico
Precisa de ajuda com o seu SenseCAP Indicator? Estamos aqui para ajudar você!