Pular para o conteúdo principal

Usando Blocos de Ferramentas

No fluxo de implantação, você pode inserir recursos integrados do SenseCraft AI com um clique. Eles simplificam tanto a sua experiência de criação quanto a implantação para o usuário final.

Visão com IA​

Implemente modelos de visão com IA para reconhecimento, detecção, classificação de objetos e tarefas relacionadas em hardware compatível. Os resultados de inferência podem ser transmitidos em tempo real via MQTT, GPIO ou serial (Serial), dependendo da configuração.

O bloco de ferramenta atualmente oferece suporte a Detecção e Classificação. Segmentação e estimativa de pose estão planejadas para uma versão futura.

Dispositivos compatíveis​

Selecionar um modelo​

  • SenseCraft AI model: Selecione modelos de alta qualidade compartilhados publicamente pela comunidade na biblioteca de modelos.
  • My model: Escolha um modelo da sua lista privada salva.
  • Upload model: Envie arquivos de modelo treinados em plataformas de terceiros. Você deve informar o nome do modelo, tipo de tarefa (Task), categorias do modelo (Class ID e Class Name), anexar o arquivo do modelo e selecionar os dispositivos compatíveis. Após o envio, o modelo aparece em My model.
  • Train model: Para treinar um novo modelo ou retreinar a partir de um existente, abra a entrada de treinamento e siga o assistente. Ao finalizar, abra Historical models, escolha Send to SenseCraft, conclua o fluxo de upload e salve o resultado em My model.
cuidado

Quando você publica para a comunidade um aplicativo que inclui um modelo privado, esse modelo se tornará público automaticamente.

Selecionar dispositivo​

No menu suspenso, escolha o hardware que você realmente usa na lista compatível com esse modelo.

Parâmetros recomendados​

Ajuste as configurações de inferência e do dispositivo para o seu cenário. Esses valores são gravados no dispositivo como padrões no momento da implantação.

  • Confidence threshold: Critério para o modelo emitir uma predição final. Aumentar o limite tende a reduzir falsos positivos; diminuí-lo tende a reduzir falsos negativos.
  • IOU threshold: Em tarefas de detecção, IoU compara caixas previstas com o valor de referência. Um limite mais alto ajuda a separar objetos sobrepostos, mas pode produzir caixas duplicadas em um único objeto se estiver muito alto. Um limite mais baixo mescla duplicatas, mas pode unir dois objetos próximos se estiver muito baixo.

Modo de saída​

  • None: Após ligar, a inferência não inicia até que outro gatilho seja acionado. Adequado para configurações de baixo consumo em que a inferência roda apenas quando necessário.
  • MQTT: Inicia a inferência imediatamente após ligar e envia resultados por Wi‑Fi via MQTT.
    • SenseCraft official service (recommended): Selecione ou crie um Dev Kit para o seu aplicativo e o MQTT será configurado automaticamente. Abra a plataforma de dados SenseCraft para visualizar e processar os dados recebidos.
    • Third-party service: Use seu próprio broker MQTT ou um de terceiros e configure os parâmetros manualmente.
  • GPIO: Acione pinos GPIO com sinais de nível.
    • Trigger conditions: Defina regras com objeto, condição e limite de confiança.
    • Trigger actions: Quando as condições forem atendidas, o dispositivo pode colocar um pino em nível alto/baixo, salvar capturas no cartão SD, acender um LED e assim por diante.
  • Serial: Use a SSCMACore library para exportar dados de inferência via UART (GPIO), I2C ou SPI.
**UART (GPIO)**
Baud Rate Value: 921600
Data Format: 8N1
TX: GPIO43
RX: GPIO44

**I2C**
Slave Address: 0x62
SDA: GPIO5 (PULLUP)
SCL: GPIO6 (PULLUP)
Protocol:
- READ：0x10，0x01, LEN << 8, LEN & 0xff
- WRITE: 0x10，0x02, LEN << 8, LEN & 0xff
- AVAIL(to read): 0x10，0x03
- RESET(clear buffer): 0x10，0x06

**SPI**
Slave CPOL0 CPHA0
MOSI GPIO9 (PULLUP)
MISO GPIO8,
SCLK GPIO7 (PULLUP)
CS GPIO4 (PULLUP)
Protocol:
- READ：0x10，0x01, LEN << 8, LEN & 0xff
- WRITE: 0x10，0x02, LEN << 8, LEN & 0xff
- AVAIL(to read): 0x10，0x03
- RESET(clear buffer): 0x10，0x06

Áudio com IA​

Implemente modelos de áudio com IA para reconhecimento de fala em hardware compatível. Os resultados podem ser transmitidos via MQTT, GPIO ou serial, dependendo da configuração.

Dispositivos compatíveis​

Selecionar um modelo​

  • SenseCraft AI model: Selecione modelos compartilhados pela comunidade na biblioteca.
  • My model: Escolha na sua lista privada.
  • Upload model: Envie arquivos de modelo treinados em plataformas de terceiros. Informe o nome do modelo e as categorias (Class ID e Class Name). Após o envio, o modelo aparece em My model.
  • Train model: Treine um modelo novo ou atualizado e, em seguida, envie-o para o SenseCraft a partir de Historical models, como nos modelos de visão.
cuidado

Quando você publica para a comunidade um aplicativo que inclui um modelo privado, esse modelo se tornará público automaticamente.

Selecionar dispositivo​

Modelos de áudio atualmente oferecem suporte apenas ao XIAO ESP32S3 Sense.

Parâmetros recomendados​

Ajuste finamente os valores para o seu cenário.

  • Confidence threshold: Mesmo papel que em visão; ajuste o equilíbrio entre saídas perdidas e espúrias.
  • Output mode: Caminho de saída padrão para o modelo de áudio.

Vibração com IA​

Implemente detecção de anomalias de vibração aprendendo a vibração “normal” e sinalizando desvios.

Dispositivos compatíveis​

Parâmetros recomendados​

Ajuste amostragem, comportamento ao ligar, GPIO e saída para a sua configuração.

  • Sampling window: Amostras por unidade de tempo. Muito grande deixa a inferência lenta; muito pequena pode subajustar a vibração normal.
  • Enable default power-on inference: Quando desligado, a inferência não inicia automaticamente ao ligar; use um gatilho externo para baixo consumo.
  • GPIO: Acione pinos em caso de vibração anormal — por exemplo, definir um nível ou alternar um LED.
  • Output mode: Caminho de saída padrão para o modelo de vibração.

Implantar Aplicativo em Contêiner​

Implante aplicativos em contêiner em dispositivos de borda em poucos cliques.

Aplicativos em destaque​

A biblioteca integrada inclui (e continua crescendo):

  • Home Assistant — hub de automação residencial de código aberto
  • Ollama — execute modelos de linguagem grandes de código aberto localmente na borda
  • OpenClaw — plataforma de código aberto para implantar e gerenciar aplicativos de borda conteinerizados
  • reComputer AI Suite — Computer Vision (CV), Vision-Language Models (VLM) e Large Language Models (LLM) otimizados para hardware reComputer

Compatível com M1 Gate, Raspberry Pi 4 / 5, NVIDIA Jetson e Seeed reComputer.

Como funciona com o SenseCraft Fleet​

Os aplicativos em contêiner são gerenciados no SenseCraft Fleet e implantados por meio do SenseCraft AI (em Applications):

  • SenseCraft Fleet é onde as imagens de contêiner ficam armazenadas — você envia as imagens, define o esquema de configuração e vincula seus dispositivos.
  • SenseCraft AI é onde você escolhe um app da sua biblioteca, seleciona um dispositivo de destino, o configura e aciona a implantação.

Sua conta SenseCraft AI é vinculada automaticamente ao SenseCraft Fleet; dispositivos vinculados e apps permanecem sincronizados em ambas as plataformas.

Plataformas compatíveis​

Os apps são específicos de plataforma — a imagem e o dispositivo de destino devem corresponder:

  • Linux / ARM64 — por exemplo, Seeed reComputer, Raspberry Pi 4 / 5, NVIDIA Jetson, M1 Gate
  • Linux / AMD64 — em breve

Fluxo de configuração​

Selecione um app: Escolha na biblioteca de apps no SenseCraft Fleet — o catálogo integrado. Se preferir enviar seu app em contêiner personalizado, será necessário adicioná‑lo por meio do SenseCraft Fleet.

Configure o app: Cada app expõe os itens de configuração que seu autor definiu no SenseCraft Fleet. Normalmente você não precisa configurar nada, a menos que tenha requisitos específicos.

Fluxo de implantação​

Etapa 1 — Selecione um app: Clique em Deploy Container App. O SenseCraft AI carrega toda a sua biblioteca de apps a partir do SenseCraft Fleet (catálogo integrado mais quaisquer apps personalizados que você enviou), cada um exibido com nome, ícone e descrição.

Etapa 2 – Vincule um dispositivo: Se você já tiver um dispositivo vinculado, pule para a Etapa 3. Caso contrário, ligue o dispositivo, conecte‑o à rede e então faça a vinculação de acordo com o seu hardware:

  • Dispositivo Seeed executando a imagem de fábrica da Seeed: Insira os últimos 6 dígitos do ID da CPU ou do endereço MAC do dispositivo para vinculá‑lo instantaneamente.
  • Dispositivo Seeed sem a imagem de fábrica ou dispositivo de terceiros: Obtenha o endereço IP do dispositivo, abra um terminal e faça SSH nele, depois execute o comando de vinculação exibido no fluxo de vinculação.

Quando a vinculação for concluída, o dispositivo aparecerá na sua lista de dispositivos vinculados.

Etapa 3 — Selecione um dispositivo de destino: Escolha na lista de dispositivos vinculados compatíveis com a plataforma do app. Dispositivos incompatíveis são filtrados automaticamente.

Etapa 4 — Configure o app: Preencha os itens de configuração expostos pelo autor do app. Consulte a seção Fluxo de configuração acima para ver os tipos de controle e padrões.

Etapa 5 — Implantação com um clique: Clique em Deploy. O SenseCraft AI mostra um indicador de progresso em tempo real e transmite o status em cada fase. Se algo falhar, o erro exato aparece em um pop‑up para que você possa corrigir e tentar novamente. Reimplante com novos valores para atualizar uma implantação existente — a anterior é substituída automaticamente.

nota

Apps Docker de imagem única são compatíveis hoje. Docker Compose (apps com vários contêineres) está no roteiro.

Gravar firmware​

Grave um binário de firmware pré‑compilado em um dispositivo ESP32 diretamente do navegador, sem instalar uma ferramenta de gravação separada. Use isto quando seu firmware já estiver compilado com todos os parâmetros incorporados.

Dispositivos compatíveis:

Pré-requisitos:​

Um único arquivo .bin mesclado. Se você tiver binários separados de bootloader, partição e app, mescle‑os antes de enviar.

  • Arduino IDE 2.x: Um binário mesclado só é produzido quando você executa Sketch → Export Compiled Binary. A saída *.ino.merged.bin é gravada em uma pasta build/ ao lado do seu arquivo .ino.
  • Arduino IDE antigo / mesclagem manual: Export Compiled Binary grava arquivos .bin separados de bootloader, partição e app — mescle‑os com esptool.py merge_bin antes de enviar. Veja o guia no fórum da Seeed Studio: How to export a single merged .bin file from Arduino IDE.

Fluxo de configuração​

  1. Clique em Upload firmware e envie seu arquivo .bin.
  2. Selecione o tipo de dispositivo na lista suspensa.

Fluxo de implantação​

  1. Conecte o dispositivo ao seu computador.
  2. Clique em Flash firmware. O botão mostra a fase atual, com uma barra de progresso e um log de depuração abaixo: conectar serial → detectar dispositivo → gravar → reiniciar.
  3. Após a conclusão da gravação, verifique o comportamento na janela de visualização.

Se alguma etapa falhar, um pop‑up de erro explica a causa para que você possa corrigir e tentar novamente.

Node-RED​

O bloco Node-RED ajuda você a criar fluxos lógicos visuais para a reCamera.

Recursos oficiais​

Dispositivos compatíveis​

Prepare seu fluxo de trabalho​

Depois de adicionar o bloco Node-RED, configure o fluxo de uma destas maneiras:

  1. Criar novo fluxo de trabalho: Conecte‑se à reCamera (com fio ou sem fio), abra o Dashboard dela e edite on‑line.
  2. Enviar arquivo local: Envie um fluxo JSON que você já criou. O sistema valida o tipo de arquivo para que ele possa ser analisado de forma confiável.

Selecione o modelo de visão de IA​

Os fluxos JSON não incorporam binários de modelo. Especifique qual modelo este fluxo deve usar:

  • Integrado ao dispositivo: Use modelos pré‑instalados na reCamera, incluindo variantes YOLO11n para classificação, detecção, segmentação e pose.
  • Modelos públicos: Navegue pelos modelos públicos do SenseCraft compartilhados por outros para a reCamera.
  • Meu modelo: Escolha na sua biblioteca privada.
cuidado

Se você usar um modelo privado em Meu modelo e publicar o app para a comunidade pública, esse modelo também se tornará público. Você será avisado antes da publicação.

Aily Blockly​

Aily Blockly é um ambiente de programação visual. Com este bloco você pode gravar, em uma única etapa, programas que criou no Aily Blockly em dispositivos de borda.

Recursos oficiais​

Dispositivos compatíveis​

Vincular ID do projeto​

Insira o código do projeto que aponta para o seu template público do Aily Blockly.

Como obter um ID de projeto​

  1. Construa seu projeto no Aily Blockly e clique em Build (F5) para compilar.
  2. Após uma compilação bem-sucedida, abra o painel Cloud Space e clique em Sync this project to cloud.
  3. Seu ID de projeto aparece na área indicada (ID: …); use apenas os números.
  4. Repita estas etapas sempre que você alterar o projeto para que a cópia na nuvem permaneça atualizada.
Como obter um ID de projeto do Aily Blockly
Loading Comments...