Visão geral do SenseCraft AI

SenseCraft AI é uma plataforma tudo‑em‑um projetada para capacitar desenvolvedores e criadores a construir e implantar projetos de IA com facilidade. O site oferece uma ampla gama de ferramentas e recursos para simplificar o processo de desenvolvimento de IA, tornando-o acessível a usuários com diferentes níveis de experiência. Neste wiki, exploraremos as principais seções do site do SenseCraft AI, fornecendo uma visão geral de seus principais recursos e funcionalidades.

Acesso Direto com Um Clique 🖱️

Início

A página inicial do SenseCraft AI serve como o hub central, oferecendo aos usuários uma visão geral das principais funcionalidades da plataforma. A barra de navegação na parte superior da página apresenta cinco seções principais: Home, Pretrained Models, Training, Vision Workspace e About SenseCraft AI.

O foco principal da página inicial é a seção Start your journey: Deploy a pretrained Model, que guia os usuários por um processo passo a passo para implantar um modelo pré-treinado usando hardware da Seeed Studio. O processo é dividido em três etapas principais:

1. Selecione um modelo pré-treinado no repositório de modelos.
2. Implemente e visualize em tempo real os resultados do modelo usando o recurso "Deploy and Preview Vision".
3. Aplique o modelo ao hardware Seeed Studio conectado e visualize a saída do sensor.

Esse recurso é particularmente útil para usuários que desejam experimentar rapidamente modelos de IA sem precisar passar por todo o processo de treinamento por conta própria.

Mais abaixo na página, os usuários encontrarão uma introdução ao recurso "Training Models". Esta seção categoriza o conteúdo relacionado ao treinamento de modelos, facilitando para que os usuários encontrem as informações necessárias para treinar seus próprios modelos de IA usando os recursos da plataforma.

Por fim, a página inicial apresenta o recurso "Sharing Vision AI Models", que incentiva a colaboração e o compartilhamento de conhecimento entre a comunidade do SenseCraft AI. Esse recurso permite que os usuários compartilhem seus modelos treinados com outros, promovendo um senso de comunidade e permitindo que os usuários construam em cima do trabalho uns dos outros.

Conta de usuário

SenseCraft AI é uma plataforma aberta que permite aos usuários navegar por todos os modelos públicos de IA e páginas Iniciais sem fazer login. Você só precisa se cadastrar e entrar quando precisar implantar um modelo ou compartilhar o seu próprio modelo.

SenseCraft AI e SenseCraft Data Platform (plataforma original SenseCAP Cloud) são ambos serviços de software fornecidos pela Seeed Studio para os usuários; os usuários só precisam se cadastrar em uma conta em qualquer uma das plataformas e então poderão usar a mesma conta para fazer login em ambas.

Cadastro

1. Digite seu nome e e-mail válido e, em seguida, clique em get capcha

2. Obtenha o código de verificação no seu e-mail e insira-o na página de cadastro

nota

o código de verificação é válido por 10 min, conclua o registro dentro de 10 minutos

3. Digite sua senha e outras informações de usuário para concluir o registro.

Login

Faça login com o e-mail que você cadastrou

Esquecer a senha

Se você esquecer a senha da sua conta, insira sua conta válida e obtenha o código de verificação para definir uma nova senha.

O período de validade do código de verificação é de 10 min, conclua a redefinição dentro de 10 minutos.

Alterar senha

1. Acesse a página da conta de usuário e clique no botão "Change your password".

2. Digite a senha antiga e a nova senha para alterar a senha.

Modelos pré-treinados

A seção Pretrained Models do site do SenseCraft AI é um repositório abrangente de modelos de IA que os usuários podem acessar e implantar facilmente em seus dispositivos. O repositório de modelos atualmente abriga uma coleção impressionante de mais de 400 modelos, com mais sendo adicionados continuamente.

Categorias de modelos

Para ajudar os usuários a encontrar o modelo mais adequado às suas necessidades, o lado esquerdo da página exibe uma lista categorizada de modelos. Os usuários podem filtrar os modelos com base em vários critérios, tais como:

• Dispositivos compatíveis: Os usuários podem selecionar modelos que sejam compatíveis com o hardware específico que estão usando, garantindo integração perfeita e desempenho ideal.

• Tarefa: Os modelos são categorizados de acordo com as tarefas para as quais foram projetados, como Detecção, Classificação ou Segmentação. Isso permite que os usuários identifiquem rapidamente modelos que estejam alinhados com os requisitos de seus projetos.

• Publicador: Os usuários também podem filtrar modelos com base no publicador, facilitando a busca por modelos de fontes confiáveis ou de desenvolvedores específicos.

Detalhes do modelo

A área central da página Pretrained Models apresenta informações essenciais sobre cada modelo, incluindo seu nome, uma breve descrição e uma representação visual. Essa visão geral rápida ajuda os usuários a ter uma noção do que cada modelo oferece e de como ele pode se encaixar em seus projetos.

Para acessar informações mais detalhadas sobre um modelo específico, os usuários podem simplesmente clicar no cartão do modelo. Isso os levará a uma página dedicada para esse modelo, onde poderão encontrar descrições detalhadas, métricas de desempenho e instruções passo a passo sobre como instalar e usar o modelo em seus dispositivos.

Meus próprios modelos

Além dos modelos públicos de IA disponíveis no repositório, o SenseCraft AI também oferece um espaço personalizado para usuários que treinaram ou fizeram upload de seus próprios modelos. Ao fazer login em sua conta SenseCraft AI, os usuários podem acessar a seção "My Own Models", onde podem encontrar e gerenciar seus modelos privados.

Os modelos na seção "My Own Models" são totalmente privados e só podem ser acessados pelo usuário que os criou. No entanto, os usuários têm a opção de tornar seus modelos públicos, permitindo que outros membros da comunidade SenseCraft AI se beneficiem de seu trabalho. Esse recurso promove a colaboração e o compartilhamento de conhecimento entre os usuários, fomentando uma comunidade vibrante e colaborativa de entusiastas de IA.

Treinamento

A seção Training do site do SenseCraft AI foi projetada para ajudar os usuários a criar modelos personalizados adaptados aos seus casos de uso específicos. Atualmente, a página Training oferece dois tipos de treinamento: Classificação e Detecção de Objetos.

Classificação

O treinamento de Classificação é baseado em TensorFlow e é totalmente baseado na web, eliminando quaisquer limitações de sistema operacional. Esse recurso permite que os usuários treinem modelos usando imagens capturadas pela câmera do computador local ou por produtos da Seeed Studio. Para treinar um modelo, os usuários só precisam coletar 40–50 imagens por classe, sem necessidade de rotulagem manual. O processo de treinamento é rápido, levando apenas alguns minutos para gerar um modelo. Além disso, a interface web fornece funcionalidade de visualização em tempo real, permitindo que os usuários vejam instantaneamente os resultados do modelo treinado.

Detecção de Objetos

O treinamento de Detecção de Objetos é baseado no modelo YOLO-World e é dividido em duas subseções: Quick Training e Image Collection Training.

• Quick Training: Esta opção permite que os usuários gerem um modelo de reconhecimento de classe única simplesmente inserindo o nome do objeto. Conforme explicado no site, "Based on YOLO - World object detection model, you can quickly generate a single-class recognition model by inputting text."

A opção Quick Training dentro do treinamento de Detecção de Objetos é alimentada pelo modelo de detecção de objetos YOLO-World, que é um sistema de detecção de objetos em tempo real de última geração. Quando um usuário insere o nome de um objeto, o sistema aproveita o conhecimento pré-treinado do modelo YOLO-World para gerar um modelo de reconhecimento de classe única especificamente ajustado para detectar esse objeto.

A família de modelos YOLO (You Only Look Once) é conhecida por sua velocidade e precisão em tarefas de detecção de objetos. Ela divide a imagem de entrada em uma grade e prevê caixas delimitadoras e probabilidades de classe para cada célula da grade. O modelo YOLO-World, em particular, foi treinado em um vasto conjunto de dados que abrange uma ampla variedade de objetos, permitindo que ele generalize bem para várias tarefas de detecção.

Ao basear-se no modelo YOLO-World, a opção de Treinamento Rápido herda suas robustas capacidades de extração de recursos e localização de objetos. O modelo pré-treinado serve como uma base sólida, permitindo que os usuários gerem rapidamente um modelo de reconhecimento de classe única sem necessidade de grandes quantidades de dados de treinamento ou recursos computacionais.

No entanto, é importante reconhecer que a opção de Treinamento Rápido pode ter limitações em termos de adaptabilidade e precisão. Como o modelo gerado se baseia no conhecimento pré-existente do modelo YOLO-World, ele pode nem sempre capturar as características únicas ou variações do objeto especificado pelo usuário. Isso pode levar a redução de precisão ou detecções falsas em certos cenários.

• Treinamento por Coleta de Imagens: Esta opção exige que os usuários insiram o nome do objeto e enviem imagens relevantes. O site descreve este recurso da seguinte forma: "Based on YOLO - World object detection model, you can customize the training for text and image, which can improve the detection accuracy of the generated model."

A opção Treinamento por Coleta de Imagens no SenseCraft AI permite que os usuários treinem um modelo personalizado de detecção de objetos usando seu próprio conjunto de dados, sem a necessidade de anotação manual de imagens. Este recurso é baseado no modelo de detecção de objetos YOLO-World e utiliza uma abordagem de treinamento especializada que elimina a necessidade de rotulagem de caixas delimitadoras ou segmentação de objetos.

O princípio-chave por trás desta opção de treinamento é o conceito de aprendizado fracamente supervisionado. No aprendizado fracamente supervisionado, o modelo aprende a detectar objetos usando apenas rótulos em nível de imagem, sem a necessidade de localização precisa de objetos ou anotações de caixas delimitadoras. O modelo YOLO-World, que serve como base para o Treinamento por Coleta de Imagens, foi projetado para aproveitar essa abordagem de forma eficaz.

Durante o processo de treinamento, os usuários fornecem um conjunto de imagens juntamente com os nomes dos objetos que desejam detectar. O modelo então aprende a associar os padrões visuais e características presentes nas imagens com os nomes de objetos fornecidos. Ao expor o modelo a uma ampla variedade de imagens contendo os objetos de interesse, ele aprende a generalizar e detectar esses objetos em novas imagens não vistas.

A arquitetura e a metodologia de treinamento do modelo YOLO-World permitem que ele descubra e localize objetos automaticamente dentro das imagens, sem necessidade de anotações explícitas de caixas delimitadoras. Isso é alcançado por meio de uma combinação de redes neurais convolucionais (CNNs) e funções de perda especializadas que orientam o modelo a focar nas regiões mais informativas das imagens.

Ao eliminar a necessidade de anotação manual de imagens, a opção de Treinamento por Coleta de Imagens reduz significativamente o esforço e o tempo necessários para criar um modelo personalizado de detecção de objetos. Os usuários podem simplesmente coletar um conjunto de dados de imagens contendo os objetos que desejam detectar, fornecer os nomes dos objetos e deixar que o modelo aprenda a reconhecer esses objetos automaticamente.

No entanto, é importante observar que a qualidade e a diversidade do conjunto de dados ainda desempenham um papel crucial no desempenho do modelo resultante. A capacidade do modelo de generalizar e detectar objetos com precisão depende da variedade e representatividade das imagens de treinamento. Os usuários devem se esforçar para coletar um conjunto de dados que cubra diferentes aparências de objetos, poses, cenários de fundo e condições de iluminação para garantir um desempenho robusto.

Ao fornecer essas duas opções de treinamento, o SenseCraft AI permite que os usuários criem modelos personalizados de detecção de objetos otimizados para suas necessidades específicas. A opção de Treinamento Rápido é ideal para usuários que precisam de um modelo simples de reconhecimento de classe única e desejam gerá-lo rapidamente. Por outro lado, a opção Treinamento por Coleta de Imagens é adequada para usuários que exigem um modelo mais preciso e personalizado, pois lhes permite fornecer seus próprios dados de treinamento na forma de nomes de objetos e imagens.

Publicação de Modelos

SenseCraft AI é uma plataforma que apoia a co-criação de conteúdo para desenvolvedores e modeladores! Compartilhe seus resultados com a comunidade global de desenvolvedores. Enquanto isso, por meio da nossa plataforma aberta de IA, você terá a oportunidade de combinar seus modelos de IA com necessidades de comercialização, fornecendo soluções valiosas para empresas e usuários de diferentes indústrias. Esperamos pela sua participação e contribuição para, juntos, concretizarmos a inovação e a aplicação da tecnologia de IA no campo comercial!

1. Para adicionar um modelo você precisa preencher as seguintes informações:

• Nome do Modelo
• Resumo do Modelo: Uma descrição simples do modelo
• Introdução do Modelo: descrição detalhada do modelo
• Preparação para Implantação do Modelo: Pré-requisitos para implantação do modelo, não obrigatório
• Dispositivo Suportado: Escolha em qual dispositivo o modelo será implantado, atualmente a plataforma suporta dispositivos Jetson, XIAO ESPS3, etc.
• Imagem de Exemplo de Inferência do Modelo: Envie uma imagem dos resultados de inferência do modelo

2. Clique em next quando as informações estiverem concluídas.

1. Insira as seguintes informações sobre os parâmetros do modelo.
2. Publicar o modelo na biblioteca pública de modelos de IA vem marcado por padrão, o modelo ficará visível para todos após salvar; se desmarcado, o modelo ficará visível somente para você após salvar.

	Conteúdo
Formato do Modelo	1 O formato correto para o modelo 2 Opções:ONNX, Tensor RT, Pytorch 3 A plataforma dará suporte a mais formatos de modelo
Tarefa	1 O tipo de tarefa do modelo 2 Opções:Detection,Classification,Segment,Pose
Framework de IA	1 O framework de IA do modelo 2 Opções:YOLOV5,YOLOV8,FOMO,ModileNetV2,PFLD 3 A plataforma dará suporte a mais frameworks de IA
Classes	1 Classes ou rótulos que o modelo categoriza para uma tarefa ou problema específico 2 Certifique-se de que o id da classe e o nome da classe correspondam corretamente.
Arquivo do Modelo	Envie um arquivo de modelo no formato de sua escolha.
Precisão do Modelo	1 Precisão do modelo 2 Opções:Int8,Float16,Float32

nota

Para garantir o desenvolvimento saudável da nossa plataforma, revisaremos os modelos e conteúdos publicados pelos usuários. Se for encontrado qualquer conteúdo ilegal, não compatível ou que infrinja direitos, ele não poderá ser publicado e poderá ser excluído conforme o caso. Obrigado pela sua compreensão e apoio na manutenção de um ambiente de plataforma saudável!

Gerenciamento de Modelos de IA Personalizados

Os usuários têm todas as permissões para operar seus próprios modelos.

Publicar Modelo: Publicar um modelo privado que ficará disponível para todos os usuários.

Privatizar Modelo: Privatizar um modelo público, o modelo ficará visível somente para você.

Excluir Modelo: Excluir um modelo privado; modelos públicos não podem ser excluídos.

Editar Modelo: Permite modificar todas as informações do modelo.

Espaço de Trabalho de Visão

A seção Espaço de Trabalho de Visão do SenseCraft AI é dedicada às operações específicas de dispositivo e à implantação de modelos treinados. Ela fornece uma interface contínua para que os usuários integrem seus modelos personalizados com vários dispositivos de hardware e visualizem os resultados em tempo real. Atualmente, os dispositivos suportados incluem Grove Vision AI V2, XIAO ESP32S3 Sense, NVIDIA Jetson e reCamera.

Implantação e Pré-visualização do Modelo

Depois que um usuário fizer upload de um modelo treinado com sucesso, poderá navegar até a página específica do dispositivo dentro do Espaço de Trabalho de Visão. Na seção "Process", os usuários podem observar o fluxo de detecção em tempo real do dispositivo conectado, permitindo que visualizem o desempenho do modelo em ação.

Esse recurso de pré-visualização em tempo real é particularmente valioso, pois permite que os usuários avaliem a precisão e a eficácia do modelo na detecção de objetos dentro do fluxo de vídeo do dispositivo. Os usuários podem inspecionar visualmente as caixas delimitadoras, rótulos e pontuações de confiança geradas pelo modelo, recebendo um feedback imediato sobre seu desempenho.

Ajuste Fino do Modelo

Além da pré-visualização em tempo real, o Espaço de Trabalho de Visão também oferece a capacidade de ajustar finamente o parâmetro de limiar de confiança do modelo. Esse recurso permite que os usuários ajustem a sensibilidade do modelo à detecção de objetos, possibilitando encontrar um equilíbrio entre precisão e abrangência (recall).

Ao manipular o limiar de confiança, os usuários podem controlar o comportamento do modelo em termos de detecção de objetos. Um limiar de confiança mais alto fará com que o modelo seja mais seletivo, detectando apenas objetos com alto grau de certeza. Por outro lado, um limiar de confiança mais baixo tornará o modelo mais sensível, detectando objetos mesmo com pontuações de confiança mais baixas.

Essa capacidade de ajuste fino permite que os usuários adaptem o modelo às suas necessidades específicas, otimizando seu desempenho com base nas características de sua aplicação e no ambiente em que o dispositivo opera.

Saída e Desenvolvimento de Aplicações

O Vision Workspace vai além da implantação e pré-visualização de modelos, fornecendo aos usuários ferramentas para prototipar rapidamente e desenvolver aplicações usando os modelos treinados. A seção "Output" oferece uma variedade de opções para que os usuários interajam com os resultados do modelo e os integrem em suas aplicações desejadas.

Tomando o XIAO ESP32S3 Sense como exemplo, o Vision Workspace suporta vários protocolos e interfaces de comunicação, como MQTT, GPIO e Serial Port. Essas opções permitem que os usuários transmitam perfeitamente a saída do modelo para outros sistemas, disparem ações com base na detecção de objetos ou realizem processamento adicional sobre os resultados detectados.

Ao oferecer essas opções de saída, o SenseCraft AI simplifica o processo de integração dos modelos treinados em aplicações práticas. Os usuários podem experimentar rapidamente diferentes métodos de comunicação e desenvolver protótipos que aproveitam os recursos de detecção de objetos de seus modelos.

Por exemplo, um usuário poderia utilizar a saída MQTT para enviar dados de detecção de objetos em tempo real para um servidor remoto para fins de monitoramento ou análise. Alternativamente, ele poderia usar a saída GPIO para acionar ações físicas, como acender uma luz ou ativar um alarme com base na presença de objetos específicos.

A saída Serial Port fornece uma maneira simples de estabelecer comunicação entre o dispositivo e outros sistemas, permitindo que os usuários transmitam os resultados do modelo para processamento ou visualização adicionais.

Suporte Técnico e Discussão de Produtos

Obrigado por escolher nossos produtos! Estamos aqui para oferecer diferentes formas de suporte para garantir que sua experiência com nossos produtos seja a mais tranquila possível. Oferecemos vários canais de comunicação para atender a diferentes preferências e necessidades.