Espaço de Trabalho Grove Vision AI v2 na Plataforma SenseCraft AI
Primeiros Passos
Conectar Grove-Vision AI v2
- Conecte o Grove - Vision AI V2 à câmera por meio do cabo de conexão CSI.
- Conecte o Grove - Vision AI V2 ao seu computador via USB e selecione a unidade de depuração USB Single/serial para conectar
Use Chrome, Opera ou Edge para implantar modelos de IA no XIAO ESP32S3 Sense e no Grove Vision AI v2.
- Depois de conectado ao dispositivo, ele lerá as informações do dispositivo, as informações do modelo e executará o modelo para inferência. Os usuários podem ajustar as configurações de Confidence e IoU para refinar a precisão da inferência do modelo.
- Confidence：Confidence refere-se ao nível de certeza ou probabilidade atribuído por um modelo às suas previsões
- IoU：IoU é usado para avaliar a precisão das caixas delimitadoras previstas em comparação com as caixas delimitadoras verdadeiras
Substituir Modelo de IA
Se você precisar substituir o modelo que está sendo executado atualmente no dispositivo, a plataforma SenseCrfat AI oferece duas maneiras de fazer isso
- Selecionar um modelo disponível publicamente na plataforma SenseCraft AI ou um modelo na conta do usuário para substituí-lo.
- Enviar diretamente um modelo para substituição.
- Model Name：digite um nome
- Model File ：Envie um modelo no formato tflite
- ID Object: Classe de reconhecimento do modelo
Configration
Se você precisar enviar os resultados de inferência do dispositivo para o seu próprio serviço MQTT ou para a plataforma Sensecraft Data, configure o Wi-Fi e o MQTT. Em seguida, usaremos a plataforma Sensecraft Data como exemplo.
- Insira um Wi-Fi 2.4G válido.
- Acesse a plataforma SenseCraft Data e faça login.
Você pode usar a mesma conta para fazer login tanto no Sensecraft AI quanto na plataforma Sensecraft Data.
- Acesse a página Development Kit e clique no botão "Create Development Kit".
- Insira o nome do dispositivo e selecione "Grove-Vision AI v2" como o tipo de dispositivo.
- Após a criação do dispositivo, clique em "connect" e copie e cole sequencialmente Host, Port, clientId, Username e Password.
- Depois de preencher o formulário, clique no botão Save. Quando o dispositivo tiver aplicado as alterações com sucesso, vá para a página Process. Você verá o IP Address e o Service Status: MQTT connected.
- Agora você pode retornar à página Development Kit da plataforma Sensecraft Data. Clique no EUI do dispositivo para entrar nos detalhes do dispositivo, onde poderá ver os resultados de inferência.
Saída
Defina uma condição para que, quando o alvo detectado atender aos critérios, o LED amarelo no XIAO ESP32S3 acenda.
Exemplo: Se o dispositivo detectar Face e a confiança for maior que 43, acenda o LED amarelo do dispositivo
Treinar
SenseCraft AI integra YoLo-World para gerar rapidamente modelos de IA de classe única com base na classe de entrada do usuário, que podem ser implantados diretamente em dispositivos Grove-Vision AI v2.
Geração Rápida
- Insira a classe, clique no botão Quick Generate e aguarde a geração do modelo.
- Após o modelo ser gerado, você pode selecionar o modelo e clicar no botão Deploy to device para gravar o modelo gerado no dispositivo.
- Visualizar o resultado da inferência
Capturar para Treinar
O modelo gerado rapidamente pode não ter alta precisão. Você pode clicar em Capture para Train para tirar e coletar imagens do alvo. Envie as imagens coletadas para o Yolo-World para treinamento otimizado. O modelo otimizado terá melhor precisão.
- Use a câmera Grove-Vision AI v2 para mirar no alvo e clique no botão Capture para coletar imagens.
- Selecione e confirme o alvo nas imagens capturadas.
- Repita as etapas 1-2 para coletar pelo menos 10 fotos para treinamento. Após coletar as imagens, clique no botão Train Model.
- Quando o modelo for gerado, selecione o modelo recém-gerado, implante-o no dispositivo e verifique os resultados de inferência.
Suporte Técnico
Precisa de ajuda com o seu SenseCAP Indicator? Estamos aqui para ajudar você!