Treine e faça o deploy do seu próprio modelo de IA
Plataforma SenseCraft AI
A Plataforma SenseCraft AI da Seeed Studio é uma solução de IA baseada em navegador.
Ela capacita os usuários a treinar e fazer o deploy de seus próprios modelos em seus dispositivos de borda sem esforço, proporcionando uma experiência contínua e amigável, permitindo que você treine e faça o deploy de seus próprios modelos diretamente em seus dispositivos de borda com apenas alguns cliques.
O núcleo dela é um projeto de código aberto e nós o compartilhamos no GitHub e oferecemos também o método de desenvolvimento.
Comece a treinar o modelo
Primeiro vamos ao Website de Deployment SenseCraft AI, depois simplesmente conecte o XIAO ESP32S3 Sense ao seu PC via um cabo de dados para começar a usar instantaneamente.
Passo 1. Instalar a placa de expansão XIAO ESP32S3 Sense
Primeiro, precisamos conectar corretamente a placa de expansão XIAO ESP32S3 Sense ao XIAO. Instalar a placa de expansão é muito simples, você só precisa alinhar o conector na placa de expansão com o conector B2B no XIAO ESP32S3, pressionar com força e ouvir um “click”; a instalação estará concluída.
Passo 2. Conectando o XIAO ao seu PC
Conecte o XIAO ao seu PC usando um cabo de dados com função de transferência de dados.
Passo 3. Acesse a página da Plataforma SenseCraft AI e conecte o XIAO
Clique no botão abaixo para ir à página inicial da Plataforma SenseCraft AI.
passo 4. Comece a treinar o modelo
Após entrar na página inicial da plataforma SenseCraft AI, primeiro clicamos em Training, depois selecionamos Classification Type, nomeamos suas classes e, por fim, escolhemos XIAO ESP32S3 Sense.
Em seguida, com base em seus requisitos de classificação, consulte sua classe e clique em Hold to Record.
Desta vez, escolhi o requisito de reconhecimento de gestos para classificar “12345”.
Capturar imagens: Cada uma com mais de 10 imagens está bom; quanto mais, melhor.
Após a conclusão da coleta de dados, selecionamos XIAO ESP32S3 Sense na seção Training e clicamos em Start Training.
Após o término do treinamento, podemos ver nossos resultados de treinamento por meio de uma pré-visualização em tempo real.
passo 5. Faça o deploy do modelo
Depois de pré-visualizar e confirmar que o modelo treinado está bom, selecionamos Training Records, depois escolhemos o modelo treinado recentemente (chamado “ClassTrain” e “XIAO”) e clicamos em Deploy to device.
Após o deploy bem-sucedido para o dispositivo, você verá os resultados diretamente:
Você treinou com sucesso seu primeiro modelo de ML!
Se você tiver mais tempo, pode tentar usar a operação Output que você aprendeu antes.
ToDo
- Treinar e fazer o deploy de modelos usando a plataforma SenseCraft AI.
- Configurar um Trigger e controlar o LED para seus modelos treinados com a Plataforma SenseCraft AI.
(Opcional) Federar: Transmitir dados à distância
Nesta etapa, estamos tentando transmitir nossos dados do XIAO ESP32S3 Sense para um dispositivo remoto, usando Wi-Fi e MQTT, ajudando-nos a ver seu deployment remotamente.
Passo 1. Configurar MQTT em um dispositivo e testar
Como exemplo, estamos usando o NVIDIA Jetson reComputer J4012 para isso. Ele suporta instalação de broker MQTT e o mais importante é que oferece 100 TOPS de poder de IA, para aplicarmos LLM localmente.
A Plataforma SenseCraft AI oferece suporte a conexão Wi-Fi e MQTT.
Primeiro precisamos instalar o broker MQTT (Mosquitto) e então tentar configurar o servidor MQTT.
sudo apt-get update
sudo apt-get install mosquitto
e concluir a instalação do Mosquitto no reComputer (Linux).
Em seguida, execute o comando:
sudo service mosquitto start
para iniciá-lo.
Depois podemos executar este comando:
sudo service mosquitto status
para ver se ele foi ativado:
Testando:
Para criar/assinar um tópico:
mosquitto_sub -h localhost -t "LED"
Para enviar/publicar alguns dados:
mosquitto_pub -h localhost -t "LED" -m "1"
mosquitto_pub -h localhost -t "LED" -m "test"
Obtendo os resultados e parece que está tudo certo:
E o localhost é 192.168.66.184 (como reComputer):
Passo 3. Configurar XIAO ESP32S3 Sense na Plataforma SenseCraft AI
Na Plataforma SenseCraft AI, você pode consultar a página “Configuration”:
- SSID: (nome do Wi-Fi igual ao do seu dispositivo MQTT)
- Password: (senha do Wi-Fi do seu dispositivo MQTT)
- Encryption: AUTO
- MQTT: Yes
- Host: (endereço IP do seu dispositivo MQTT)
- Port: 1883
Neste exemplo, o dispositivo MQTT é o reComputer, como acima.
Passo 3. Receber dados do XIAO ESP32S3 Sense e exibir
Na parte de recebimento, você pode instalar um cliente com o comando:
pip install python-sscma
Este é um cliente integrado para o sscma_micro, que é um microcontrolador no servidor para os modelos SSCMA.
E então receba os dados usando:
sscma.cli client --broker mqtt.broker.com --device device_id
Neste caso, mqtt.broker.com é 192.168.66.184, device_id vem do XIAO ESP32S3 Sense na Plataforma SenseCraft AI.
