Pular para o conteúdo principal

Configurando a Saída de Modelo via MQTT no SenseCraft AI para XIAO ESP32S3 Sense

Este artigo da wiki fornece um guia passo a passo sobre como configurar a saída de modelo usando MQTT (Message Queuing Telemetry Transport) para a placa XIAO ESP32S3 Sense na plataforma SenseCraft AI. MQTT é um protocolo de mensagens leve que permite uma comunicação eficiente entre dispositivos. Seguindo estas instruções, você aprenderá como configurar a comunicação MQTT e obter os resultados de inferência do modelo a partir do seu XIAO ESP32S3 Sense.

Pré-requisitos​

Antes de começar, certifique-se de que você tenha o seguinte:

  1. Placa XIAO ESP32S3 Sense
  2. Cabo de dados USB-C para conectar a placa XIAO ao seu computador
  3. Um cliente MQTT de terceiros, como o MQTTX, instalado no seu computador
XIAO ESP32S3 Sense
Adquira Agora 🖱️

Etapa 1. Acesse o SenseCraft AI Vision Workspace e conecte o XIAO ESP32S3 Sense​

Abra o seu navegador e acesse a página do SenseCraft AI Vision Workspace.

Acesso Direto com Um Clique 🖱️

Selecione a placa XIAO ESP32S3 Sense entre os dispositivos disponíveis.

Usando o cabo USB-C, conecte sua placa XIAO ESP32S3 Sense ao computador. Depois de conectada, clique no botão Connect localizado no canto superior esquerdo da página do SenseCraft AI Vision Workspace.

Etapa 2. Certifique-se de que um Modelo esteja Carregado no XIAO ESP32S3 Sense​

Antes de prosseguir, certifique-se de que a sua placa XIAO ESP32S3 Sense tenha um modelo treinado carregado. Se você ainda não carregou um modelo, consulte a documentação do SenseCraft AI sobre como treinar e implantar modelos no seu dispositivo.

Se você quiser usar o seu próprio modelo treinado, pode consultar as duas Wikis a seguir.

Etapa 3. Configurar a Saída MQTT​

Na barra lateral esquerda da página do Vision Workspace, clique na opção Output. Entre as opções de saída disponíveis, selecione MQTT para acessar as configurações de MQTT.

Etapa 4. Configurar o MQTT​

Clique no botão Configuration na parte inferior da seção de saída MQTT. Uma janela de configuração aparecerá, solicitando que você insira as seguintes informações:

  • SSID: Insira o nome da sua rede Wi-Fi.
  • Password: Forneça a senha da sua rede Wi-Fi.
  • Encryption: Escolha o tipo de criptografia da sua rede Wi-Fi (por exemplo, AUTO).
  • MQTT: Selecione "Yes" para habilitar a comunicação MQTT.

Preencha os campos de configuração MQTT:

  • Host: Insira o hostname ou endereço IP do seu broker MQTT (por exemplo, broker.emqx.io).
  • Port: Especifique o número da porta para comunicação MQTT (por exemplo, 1883).
  • Client ID: Forneça um Client ID exclusivo para o seu XIAO ESP32S3 Sense (por exemplo, xiao_esp32s3).
  • User Name: Insira o seu nome de usuário MQTT, se exigido pelo broker MQTT.
  • Password: Forneça a sua senha MQTT, se exigida pelo broker MQTT.
  • SSL: Escolha se deseja habilitar a criptografia SSL. Se o seu broker MQTT suportar SSL, você pode selecionar "Yes" para aumentar a segurança da comunicação.

Clique no botão Apply para salvar a configuração.

cuidado

Esta etapa exigirá uma conexão de rede, conecte uma antena ao XIAO ESP32S3 Sense.

Se tudo estiver configurado corretamente, você deverá conseguir ver as seguintes informações no site.

Etapa 5. Configurar o Cliente MQTT (MQTTX)​

Abra o aplicativo MQTTX no seu computador.

Crie uma nova conexão com as seguintes configurações:

  • Host: Insira o mesmo hostname ou endereço IP usado na plataforma SenseCraft AI (por exemplo, broker.emqx.io).
  • Port: Especifique o número da porta para comunicação MQTT (por exemplo, 1883).
  • Client ID: Forneça um Client ID exclusivo para a sua instância MQTTX (por exemplo, seeed_computer).

Clique no botão Connect para estabelecer uma conexão com o broker MQTT.

Etapa 6. Inscrever-se no Tópico MQTT​

No aplicativo MQTTX, clique no botão New Subscribe para criar uma nova inscrição. Insira o tópico sscma/v0/# e clique em Subscribe.

Este tópico será usado para receber as informações de inferência do modelo do seu XIAO ESP32S3 Sense.

Etapa 7. Enviar Comando para Obter os Resultados de Inferência do Modelo​

No aplicativo MQTTX, navegue até o canal de tópico do dispositivo. Você pode obtê-lo clicando no botão Query device's topic na página MQTT do SenseCraft AI.

Envie o comando AT+INVOKE=-1,0 para acionar a inferência do modelo no seu XIAO ESP32S3 Sense.

dica

Certifique-se de que você está enviando para o tópico correto.

Se você perceber que ainda não há nenhum dado relacionado ao reconhecimento do modelo sendo reportado, tente enviar o comando em formato HEX.

O XIAO ESP32S3 Sense processará o comando e publicará os resultados de inferência do modelo no tópico inscrito. No aplicativo MQTTX, você receberá os resultados de inferência sob o tópico sscma/v0/#.

Exemplo:

Vamos supor que o seu modelo treinado foi projetado para detectar objetos em uma imagem. Quando você envia o comando 'AT+INVOKE=-1,0', o XIAO ESP32S3 Sense irá capturar uma imagem, executar a inferência do modelo e publicar os resultados via MQTT. Os resultados de inferência podem incluir informações como os objetos detectados, seus bounding boxes e escores de confiança. Por exemplo, o payload da mensagem MQTT pode ser:

{"type":1,"name":"INVOKE","code":0,"data":{"count":989,"image":"/9j/4AAQSkZJRgABAQEAAAAAAAD...CUxBQAYoAPpQAc0AA/9X/2Q==","boxes":[[208.46,215.41,69.49,48.64,80.60,0]],"perf":[70,470,0],"rotation":0,"width":240,"height":240}}

Para uma descrição detalhada do formato JSON, leia a documentação aqui.

dica

No firmware do dispositivo, há um conjunto de protocolos de comunicação estabelecidos que especificam o formato da saída dos resultados do modelo e o que o usuário pode fazer com os modelos. Devido a questões de espaço, não vamos detalhar os específicos desses protocolos nesta wiki; vamos detalhar essa seção por meio de documentação no Github. Se você tem interesse em um desenvolvimento mais aprofundado, acesse aqui.

Para decodificar a imagem codificada em base64:

  1. Copie a string codificada em base64 do campo "image" no objeto JSON.

  2. Visite o site https://base64.guru/converter/decode/image no seu navegador.

  3. Cole a string codificada em base64 copiada na área de texto "Base64 string" no site.

  4. Clique no botão Decode Base64 to Image.

  5. A imagem decodificada aparecerá abaixo do botão, e você poderá visualizá-la ou baixá-la.

Conclusão​

Seguindo este guia passo a passo, você aprendeu como configurar a saída de modelo usando MQTT na plataforma SenseCraft AI para a placa XIAO ESP32S3 Sense. Agora você pode obter os resultados de inferência do modelo via MQTT e integrá-los às suas aplicações ou sistemas. Lembre-se de garantir uma conexão Wi-Fi estável e configurar corretamente o seu broker MQTT e as configurações do cliente para uma comunicação sem falhas.

Suporte Técnico & Discussão de Produto​

Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes tipos de suporte para garantir que a sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.

Loading Comments...