Pular para o conteúdo principal

Configurando a saída de modelo via MQTT no SenseCraft AI para XIAO ESP32S3 Sense

Este artigo da wiki fornece um guia passo a passo sobre como configurar a saída de modelo usando MQTT (Message Queuing Telemetry Transport) para a placa XIAO ESP32S3 Sense na plataforma SenseCraft AI. MQTT é um protocolo de mensagens leve que permite comunicação eficiente entre dispositivos. Seguindo estas instruções, você aprenderá como configurar a comunicação MQTT e obter os resultados de inferência do modelo do seu XIAO ESP32S3 Sense.

Pré-requisitos​

Antes de começar, certifique-se de que você tem o seguinte:

  1. Placa XIAO ESP32S3 Sense
  2. Cabo de dados USB-C para conectar a placa XIAO ao seu computador
  3. Um cliente MQTT de terceiros, como o MQTTX, instalado no seu computador
XIAO ESP32S3 Sense
Adquira agora 🖱️

Etapa 1. Acessar o workspace do XIAO ESP32S3 Sense e conectar o dispositivo​

Acesse o workspace do XIAO ESP32S3 Sense via SenseCraft AI > Models > Workspace > XIAO ESP32S3 Sense, ou use o link direto para o workspace.

Usando o cabo USB-C, conecte sua placa XIAO ESP32S3 Sense ao computador. Depois de conectar, clique no botão Connect localizado no canto superior esquerdo da página do workspace.

Etapa 2. Certificar-se de que um modelo está carregado no XIAO ESP32S3 Sense​

Antes de prosseguir, verifique se a sua placa XIAO ESP32S3 Sense tem um modelo treinado carregado. Se você ainda não carregou um modelo, consulte a documentação do SenseCraft AI sobre como treinar e implantar modelos no seu dispositivo.

Se você quiser usar seu próprio modelo treinado, pode consultar as duas Wikis a seguir.

Etapa 3. Configurar a saída MQTT​

Na barra lateral esquerda da página do workspace, clique na opção Output. Entre as opções de saída disponíveis, selecione MQTT para acessar as configurações de configuração do MQTT.

Etapa 4. Configurar o MQTT​

Clique no botão Configuration na parte inferior da seção de saída MQTT. Uma janela de configuração aparecerá, solicitando que você insira as seguintes informações:

  • SSID: Insira o nome da sua rede Wi-Fi.
  • Password: Forneça a senha da sua rede Wi-Fi.
  • Encryption: Escolha o tipo de criptografia da sua rede Wi-Fi (por exemplo, AUTO).
  • MQTT: Selecione "Yes" para habilitar a comunicação MQTT.

Preencha os campos de configuração MQTT:

  • Host: Insira o hostname ou endereço IP do seu broker MQTT (por exemplo, broker.emqx.io).
  • Port: Especifique o número da porta para comunicação MQTT (por exemplo, 1883).
  • Client ID: Forneça um Client ID exclusivo para o seu XIAO ESP32S3 Sense (por exemplo, xiao_esp32s3).
  • User Name: Insira seu nome de usuário MQTT, se for exigido pelo seu broker MQTT.
  • Password: Forneça sua senha MQTT, se for exigida pelo seu broker MQTT.
  • SSL: Escolha se deseja habilitar a criptografia SSL. Se o seu broker MQTT suportar SSL, você pode selecionar "Yes" para aumentar a segurança da comunicação.

Clique no botão Apply para salvar a configuração.

cuidado

Esta etapa exigirá uma conexão de rede, conecte uma antena ao XIAO ESP32S3 Sense.

Se tudo estiver configurado corretamente, você deverá conseguir ver as seguintes informações no site.

Etapa 5. Configurar o cliente MQTT (MQTTX)​

Abra o aplicativo MQTTX no seu computador.

Crie uma nova conexão com as seguintes configurações:

  • Host: Insira o mesmo hostname ou endereço IP usado na plataforma SenseCraft AI (por exemplo, broker.emqx.io).
  • Port: Especifique o número da porta para comunicação MQTT (por exemplo, 1883).
  • Client ID: Forneça um Client ID exclusivo para a sua instância MQTTX (por exemplo, seeed_computer).

Clique no botão Connect para estabelecer uma conexão com o broker MQTT.

Etapa 6. Assinar o tópico MQTT​

No aplicativo MQTTX, clique no botão New Subscribe para criar uma nova assinatura. Insira o tópico sscma/v0/# e clique em Subscribe.

Este tópico será usado para receber informações de inferência do modelo do seu XIAO ESP32S3 Sense.

Etapa 7. Enviar comando para obter os resultados de inferência do modelo​

No aplicativo MQTTX, navegue até o canal de tópico do dispositivo. Você pode obtê-lo clicando no botão Query device's topic na página MQTT do SenseCraft AI.

Envie o comando AT+INVOKE=-1,0 para acionar a inferência do modelo no seu XIAO ESP32S3 Sense.

dica

Certifique-se de que você está enviando para o tópico correto.

Se você perceber que ainda não tem nenhum dado relacionado ao reconhecimento do modelo sendo reportado, tente enviar o comando em formato HEX.

O XIAO ESP32S3 Sense processará o comando e publicará os resultados de inferência do modelo no tópico assinado. No aplicativo MQTTX, você receberá os resultados de inferência sob o tópico sscma/v0/#.

Exemplo:

Vamos supor que o seu modelo treinado foi projetado para detectar objetos em uma imagem. Quando você enviar o comando 'AT+INVOKE=-1,0', o XIAO ESP32S3 Sense capturará uma imagem, executará a inferência do modelo e publicará os resultados via MQTT. Os resultados de inferência podem incluir informações como os objetos detectados, seus bounding boxes e pontuações de confiança. Por exemplo, o payload da mensagem MQTT pode ser:

{"type":1,"name":"INVOKE","code":0,"data":{"count":989,"image":"/9j/4AAQSkZJRgABAQEAAAAAAAD...CUxBQAYoAPpQAc0AA/9X/2Q==","boxes":[[208.46,215.41,69.49,48.64,80.60,0]],"perf":[70,470,0],"rotation":0,"width":240,"height":240}}

Para uma descrição detalhada do formato JSON, leia a documentação aqui.

dica

No firmware do dispositivo, há um conjunto de protocolos de comunicação estabelecidos que especificam o formato da saída dos resultados do modelo e o que o usuário pode fazer com os modelos. Devido a questões de espaço, não entraremos em detalhes sobre esses protocolos nesta wiki; detalharemos esta seção por meio de documentação no Github. Se você estiver interessado em um desenvolvimento mais aprofundado, acesse aqui.

Para decodificar a imagem codificada em base64:

  1. Copie a string codificada em base64 do campo "image" no objeto JSON.

  2. Visite o site https://base64.guru/converter/decode/image no seu navegador.

  3. Cole a string codificada em base64 copiada na área de texto "Base64 string" no site.

  4. Clique no botão Decode Base64 to Image.

  5. A imagem decodificada aparecerá abaixo do botão, e você poderá visualizá-la ou baixá-la.

Conclusão​

Seguindo este guia passo a passo, você aprendeu como configurar a saída de modelo usando MQTT na plataforma SenseCraft AI para a placa XIAO ESP32S3 Sense. Agora você pode obter os resultados de inferência do modelo via MQTT e integrá-los às suas aplicações ou sistemas. Lembre-se de garantir uma conexão Wi-Fi estável e configurar corretamente as definições do seu broker e cliente MQTT para uma comunicação sem interrupções.

Suporte Técnico & Discussão de Produto​

Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...