Visão geral do SenseCraft AI

SenseCraft AI é uma plataforma tudo‑em‑um projetada para capacitar desenvolvedores e criadores a construir e implantar projetos de IA com facilidade. O site oferece uma ampla variedade de ferramentas e recursos para simplificar o processo de desenvolvimento de IA, tornando-o acessível a usuários com diferentes níveis de experiência. Neste wiki, exploraremos as principais seções do site SenseCraft AI, fornecendo uma visão geral de seus principais recursos e funcionalidades.

Acesso direto com um clique 🖱️

Início

A página inicial do SenseCraft AI serve como o hub central, oferecendo aos usuários uma visão geral das principais funcionalidades da plataforma. A barra de navegação na parte superior da página apresenta cinco seções principais: Home, Pretrained Models, Training, Vision Workspace e About SenseCraft AI.

O foco principal da página inicial é a seção Start your journey: Deploy a pretrained Model, que orienta os usuários em um processo passo a passo para implantar um modelo pré‑treinado usando hardware da Seeed Studio. O processo é dividido em três etapas principais:

1. Selecione um modelo pré‑treinado no repositório de modelos.
2. Implemente e visualize em tempo real os resultados do modelo usando o recurso "Deploy and Preview Vision".
3. Aplique o modelo ao hardware da Seeed Studio conectado e visualize a saída do sensor.

Esse recurso é particularmente útil para usuários que desejam experimentar rapidamente modelos de IA sem precisar passar por todo o processo de treinamento por conta própria.

Mais abaixo na página, os usuários encontrarão uma introdução ao recurso "Training Models". Esta seção categoriza o conteúdo relacionado ao treinamento de modelos, facilitando para os usuários encontrar as informações de que precisam para treinar seus próprios modelos de IA usando os recursos da plataforma.

Por fim, a página inicial apresenta o recurso "Sharing Vision AI Models", que incentiva a colaboração e o compartilhamento de conhecimento entre a comunidade SenseCraft AI. Esse recurso permite que os usuários compartilhem seus modelos treinados com outras pessoas, promovendo um senso de comunidade e permitindo que os usuários construam em cima do trabalho uns dos outros.

Conta de usuário

SenseCraft AI é uma plataforma aberta que permite aos usuários navegar por todos os modelos públicos de IA e páginas Iniciais sem fazer login. Você só precisa se cadastrar e entrar quando precisar implantar um modelo ou compartilhar o seu próprio modelo.

SenseCraft AI e SenseCraft Data Platform (plataforma original SenseCAP Cloud) são ambos serviços de software fornecidos pela Seeed Studio para os usuários; os usuários só precisam se cadastrar em uma conta em qualquer uma das plataformas e, em seguida, podem usar a mesma conta para fazer login em ambas.

Cadastro

1. Insira seu nome e e‑mail válido e, em seguida, clique em get capcha

2. Obtenha o código de verificação no seu e‑mail e insira-o na página de cadastro

nota

o código de verificação é válido por 10 min, conclua o registro dentro de 10 minutos

3. Insira sua senha e outras informações de usuário para concluir o cadastro.

Login

Faça login com a conta de e‑mail que você cadastrou

Esqueci a senha

Se você esquecer a senha da sua conta, insira sua conta válida e obtenha o código de verificação para definir uma nova senha.

O período de validade do código de verificação é de 10 min, conclua a redefinição dentro de 10 minutos.

Alterar senha

1. Acesse a página de conta de usuário e clique no botão "Change your password".

2. Insira a senha antiga e a nova senha para alterar a senha.

Modelos pré‑treinados

A seção Pretrained Models do site SenseCraft AI é um repositório abrangente de modelos de IA que os usuários podem acessar e implantar facilmente em seus dispositivos. O repositório de modelos atualmente abriga uma coleção impressionante de mais de 400 modelos, com mais sendo adicionados continuamente.

Categorias de modelos

Para ajudar os usuários a encontrar o modelo mais adequado às suas necessidades, o lado esquerdo da página exibe uma lista categorizada de modelos. Os usuários podem filtrar os modelos com base em vários critérios, tais como:

• Dispositivos compatíveis: Os usuários podem selecionar modelos que sejam compatíveis com o hardware específico que estão usando, garantindo integração perfeita e desempenho ideal.

• Tarefa: Os modelos são categorizados de acordo com as tarefas que foram projetados para executar, como Detecção, Classificação ou Segmentação. Isso permite que os usuários identifiquem rapidamente modelos que estejam alinhados com os requisitos de seus projetos.

• Publicador: Os usuários também podem filtrar modelos com base no publicador, facilitando encontrar modelos de fontes confiáveis ou de desenvolvedores específicos.

Detalhes do modelo

A área central da página Pretrained Models apresenta informações essenciais sobre cada modelo, incluindo seu nome, uma breve descrição e uma representação visual. Essa visão geral rápida ajuda os usuários a ter uma noção do que cada modelo oferece e de como ele pode se encaixar em seus projetos.

Para acessar informações mais detalhadas sobre um modelo específico, os usuários podem simplesmente clicar no cartão do modelo. Isso os levará a uma página dedicada para esse modelo, onde poderão encontrar descrições detalhadas, métricas de desempenho e instruções passo a passo sobre como instalar e usar o modelo em seus dispositivos.

Meus próprios modelos

Além dos modelos públicos de IA disponíveis no repositório, o SenseCraft AI também oferece um espaço personalizado para usuários que treinaram ou fizeram upload de seus próprios modelos. Ao fazer login em sua conta SenseCraft AI, os usuários podem acessar a seção "My Own Models", onde podem encontrar e gerenciar seus modelos privados.

Os modelos na seção "My Own Models" são totalmente privados e só podem ser acessados pelo usuário que os criou. No entanto, os usuários têm a opção de tornar seus modelos públicos, permitindo que outros membros da comunidade SenseCraft AI se beneficiem de seu trabalho. Esse recurso promove a colaboração e o compartilhamento de conhecimento entre os usuários, fomentando uma comunidade vibrante e solidária de entusiastas de IA.

Treinamento

A seção Training do site SenseCraft AI foi projetada para ajudar os usuários a criar modelos personalizados adaptados aos seus casos de uso específicos. Atualmente, a página Training oferece dois tipos de treinamento: Classificação e Detecção de Objetos.

Classificação

O treinamento de Classificação é baseado em TensorFlow e é totalmente baseado na web, eliminando quaisquer limitações de sistema operacional. Esse recurso permite que os usuários treinem modelos usando imagens capturadas pela câmera do computador local ou por produtos da Seeed Studio. Para treinar um modelo, os usuários só precisam coletar 40–50 imagens por classe, sem necessidade de rotulagem manual. O processo de treinamento é rápido, levando apenas alguns minutos para gerar um modelo. Além disso, a interface web fornece funcionalidade de visualização em tempo real, permitindo que os usuários vejam instantaneamente os resultados de seu modelo treinado.

Detecção de objetos

O treinamento de Detecção de Objetos é baseado no modelo YOLO-World e é dividido em duas subseções: Quick Training e Image Collection Training.

• Quick Training: Esta opção permite que os usuários gerem um modelo de reconhecimento de classe única simplesmente inserindo o nome do objeto. Conforme explicado no site, "Based on YOLO - World object detection model, you can quickly generate a single-class recognition model by inputting text."

A opção Quick Training dentro do treinamento de Detecção de Objetos é alimentada pelo modelo de detecção de objetos YOLO-World, que é um sistema de detecção de objetos em tempo real de última geração. Quando um usuário insere o nome de um objeto, o sistema aproveita o conhecimento pré‑treinado do modelo YOLO-World para gerar um modelo de reconhecimento de classe única especificamente ajustado para detectar esse objeto.

A família de modelos YOLO (You Only Look Once) é conhecida por sua velocidade e precisão em tarefas de detecção de objetos. Ela divide a imagem de entrada em uma grade e prevê caixas delimitadoras e probabilidades de classe para cada célula da grade. O modelo YOLO-World, em particular, foi treinado em um vasto conjunto de dados que abrange uma ampla variedade de objetos, permitindo que ele se generalize bem para diversas tarefas de detecção.

Ao se basear no modelo YOLO-World, a opção Quick Training herda seus robustos recursos de extração de características e localização de objetos. O modelo pré-treinado serve como uma base sólida, permitindo que os usuários gerem rapidamente um modelo de reconhecimento de classe única sem a necessidade de grandes quantidades de dados de treinamento ou recursos computacionais.

No entanto, é importante reconhecer que a opção Quick Training pode ter limitações em termos de adaptabilidade e precisão. Como o modelo gerado depende do conhecimento pré-existente do modelo YOLO-World, ele pode nem sempre capturar as características únicas ou variações do objeto especificado pelo usuário. Isso pode levar à redução de precisão ou a detecções falsas em determinados cenários.

• Image Collection Training: Esta opção exige que os usuários insiram o nome do objeto e enviem imagens relevantes. O site descreve esse recurso da seguinte forma: "Based on YOLO - World object detection model, you can customize the training for text and image, which can improve the detection accuracy of the generated model."

A opção Image Collection Training no SenseCraft AI permite que os usuários treinem um modelo de detecção de objetos personalizado usando seu próprio conjunto de dados, sem a necessidade de anotação manual de imagens. Esse recurso é baseado no modelo de detecção de objetos YOLO-World e utiliza uma abordagem de treinamento especializada que elimina a exigência de rotulagem de caixas delimitadoras ou segmentação de objetos.

O princípio-chave por trás dessa opção de treinamento é o conceito de aprendizado fracamente supervisionado. No aprendizado fracamente supervisionado, o modelo aprende a detectar objetos usando apenas rótulos em nível de imagem, sem a necessidade de localização precisa de objetos ou anotações de caixas delimitadoras. O modelo YOLO-World, que serve como base para o Image Collection Training, foi projetado para aproveitar essa abordagem de forma eficaz.

Durante o processo de treinamento, os usuários fornecem um conjunto de imagens juntamente com os nomes dos objetos que desejam detectar. O modelo então aprende a associar os padrões visuais e características presentes nas imagens com os nomes de objetos fornecidos. Ao expor o modelo a uma ampla variedade de imagens contendo os objetos de interesse, ele aprende a generalizar e detectar esses objetos em novas imagens ainda não vistas.

A arquitetura e a metodologia de treinamento do modelo YOLO-World permitem que ele descubra e localize automaticamente objetos dentro das imagens, sem a necessidade de anotações explícitas de caixas delimitadoras. Isso é alcançado por meio de uma combinação de redes neurais convolucionais (CNNs) e funções de perda especializadas que orientam o modelo a focar nas regiões mais informativas das imagens.

Ao eliminar a necessidade de anotação manual de imagens, a opção Image Collection Training reduz significativamente o esforço e o tempo necessários para criar um modelo de detecção de objetos personalizado. Os usuários podem simplesmente coletar um conjunto de dados de imagens contendo os objetos que desejam detectar, fornecer os nomes dos objetos e deixar que o modelo aprenda a reconhecer esses objetos automaticamente.

No entanto, é importante observar que a qualidade e a diversidade do conjunto de dados ainda desempenham um papel crucial no desempenho do modelo resultante. A capacidade do modelo de generalizar e detectar objetos com precisão depende da variedade e da representatividade das imagens de treinamento. Os usuários devem se esforçar para coletar um conjunto de dados que cubra diferentes aparências de objetos, poses, planos de fundo e condições de iluminação para garantir um desempenho robusto.

Ao fornecer essas duas opções de treinamento, o SenseCraft AI permite que os usuários criem modelos de detecção de objetos personalizados otimizados para suas necessidades específicas. A opção Quick Training é ideal para usuários que precisam de um modelo simples de reconhecimento de classe única e desejam gerá-lo rapidamente. Por outro lado, a opção Image Collection Training é adequada para usuários que exigem um modelo mais preciso e personalizado, pois permite que forneçam seus próprios dados de treinamento na forma de nomes de objetos e imagens.

Publicação de Modelos

SenseCraft AI é uma plataforma que apoia a cocriação de conteúdo para desenvolvedores e modeladores! Compartilhe seus resultados com a comunidade global de desenvolvedores. Enquanto isso, por meio de nossa plataforma aberta de IA, você terá a oportunidade de combinar seus modelos de IA com necessidades de comercialização, fornecendo soluções valiosas para empresas e usuários em diferentes setores. Aguardamos sua participação e contribuição para, juntos, concretizarmos a inovação e a aplicação da tecnologia de IA no campo comercial!

1. Para adicionar um modelo, você precisa preencher as seguintes informações:

• Nome do Modelo
• Resumo do Modelo: Uma descrição simples do modelo
• Introdução do Modelo: descrição detalhada do modelo
• Preparação para Implantação do Modelo: Pré-requisitos para a implantação do modelo, não obrigatório
• Dispositivo Suportado: Escolha em qual dispositivo o modelo será implantado, atualmente a plataforma suporta dispositivos Jetson, XIAO ESP32-S3, etc.
• Imagem de Exemplo de Inferência do Modelo: Envie uma imagem dos resultados de inferência do modelo

2. Clique em Next quando as informações estiverem completas.

1. Insira as seguintes informações sobre os parâmetros do modelo.
2. Publish the model to the public AI model library é marcado por padrão, o modelo ficará visível para todos após salvar; se desmarcado, o modelo ficará visível apenas para você após salvar.

	Conteúdo
Formato do Modelo	1 O formato correto para o modelo 2 Opções:ONNX, Tensor RT, Pytorch 3 A plataforma suportará mais formatos de modelo
Tarefa	1 O tipo de tarefa do modelo 2 Opções:Detection,Classification,Segment,Pose
Framework de IA	1 O framework de IA do modelo 2 Opções:YOLOV5,YOLOV8,FOMO,ModileNetV2,PFLD 3 A plataforma suportará mais frameworks de IA
Classes	1 Classes ou rótulos que o modelo categoriza para uma tarefa ou problema específico 2 Certifique-se de que o ID da classe e o nome da classe correspondam corretamente.
Arquivo do Modelo	Envie um arquivo de modelo no formato de sua escolha.
Precisão do Modelo	1 Precisão do modelo 2 Opções:Int8,Float16,Float32

nota

Para garantir o desenvolvimento saudável de nossa plataforma, revisaremos os modelos e conteúdos publicados pelos usuários. Se for encontrado qualquer conteúdo ilegal, não compatível ou que infrinja direitos, ele não será permitido para publicação e poderá ser excluído conforme o caso. Obrigado pela sua compreensão e apoio na manutenção de um ambiente de plataforma saudável!

Gerenciamento de Modelos de IA Personalizados

Os usuários têm todas as permissões para operar seus próprios modelos.

Publish Model: Publicar um modelo privado que ficará disponível para todos os usuários.

Privatize Model: Tornar privado um modelo público; o modelo ficará visível apenas para você.

Delete Model: Excluir um modelo privado; modelos públicos não podem ser excluídos.

Edit Model: Permite modificar todas as informações do modelo.

Vision Workspace

A seção Vision Workspace do SenseCraft AI é dedicada a operações específicas de dispositivos e à implantação de modelos treinados. Ela fornece uma interface contínua para que os usuários integrem seus modelos personalizados com vários dispositivos de hardware e visualizem os resultados em tempo real. Atualmente, os dispositivos suportados incluem Grove Vision AI V2, XIAO ESP32S3 Sense, NVIDIA Jetson e reCamera.

Implantação e Pré-visualização de Modelos

Depois que um usuário tiver enviado com sucesso um modelo treinado, ele poderá navegar até a página específica do dispositivo dentro do Vision Workspace. Na seção "Process", os usuários podem observar o fluxo de detecção em tempo real do dispositivo conectado, permitindo que visualizem o desempenho do modelo em ação.

Esse recurso de pré-visualização em tempo real é particularmente valioso, pois permite que os usuários avaliem a precisão e a eficácia do modelo na detecção de objetos dentro do fluxo de vídeo do dispositivo. Os usuários podem inspecionar visualmente as caixas delimitadoras, rótulos e pontuações de confiança geradas pelo modelo, fornecendo feedback imediato sobre seu desempenho.

Ajuste Fino do Modelo

Além da pré-visualização em tempo real, o Vision Workspace também oferece a capacidade de ajustar finamente o parâmetro de limiar de confiança do modelo. Esse recurso permite que os usuários ajustem a sensibilidade do modelo à detecção de objetos, possibilitando encontrar um equilíbrio entre precisão e revocação.

Ao manipular o limiar de confiança, os usuários podem controlar o comportamento do modelo em termos de detecção de objetos. Um limiar de confiança mais alto fará com que o modelo seja mais seletivo, detectando apenas objetos com alto grau de certeza. Por outro lado, um limiar de confiança mais baixo tornará o modelo mais sensível, detectando objetos mesmo com pontuações de confiança mais baixas.

Essa capacidade de ajuste fino permite que os usuários adaptem o modelo às suas necessidades específicas, otimizando seu desempenho com base nas características de sua aplicação e no ambiente em que o dispositivo opera.

Saída e Desenvolvimento de Aplicações

O Vision Workspace vai além da implantação e pré-visualização de modelos, fornecendo aos usuários ferramentas para prototipar e desenvolver rapidamente aplicações usando os modelos treinados. A seção "Output" oferece uma variedade de opções para que os usuários interajam com os resultados do modelo e os integrem em suas aplicações desejadas.

Tomando o XIAO ESP32S3 Sense como exemplo, o Vision Workspace suporta vários protocolos e interfaces de comunicação, como MQTT, GPIO e Porta Serial. Essas opções permitem que os usuários transmitam perfeitamente a saída do modelo para outros sistemas, acionem ações com base na detecção de objetos ou realizem processamento adicional sobre os resultados detectados.

Ao oferecer essas opções de saída, o SenseCraft AI simplifica o processo de integração dos modelos treinados em aplicações práticas. Os usuários podem experimentar rapidamente diferentes métodos de comunicação e desenvolver protótipos que aproveitam os recursos de detecção de objetos de seus modelos.

Por exemplo, um usuário pode utilizar a saída MQTT para enviar dados de detecção de objetos em tempo real para um servidor remoto para fins de monitoramento ou análise. Alternativamente, ele pode usar a saída GPIO para acionar ações físicas, como acender uma luz ou ativar um alarme com base na presença de objetos específicos.

A saída da Porta Serial oferece uma maneira simples de estabelecer comunicação entre o dispositivo e outros sistemas, permitindo que os usuários transmitam os resultados do modelo para processamento ou visualização adicionais.

Suporte Técnico e Discussão de Produtos

Obrigado por escolher nossos produtos! Estamos aqui para fornecer diferentes tipos de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.