SenseCraft AI 概要
SenseCraft AI は、開発者やクリエイターが AI プロジェクトを簡単に構築・デプロイできるよう支援する、オールインワンのプラットフォームです。Web サイトには、AI 開発プロセスを効率化するためのさまざまなツールや機能が用意されており、さまざまなスキルレベルのユーザーが利用できるようになっています。本 Wiki では、SenseCraft AI Web サイトの主なセクションを取り上げ、それぞれの主な機能と特徴を概観します。
Home
SenseCraft AI のホームページは中央ハブとして機能し、プラットフォームの主な機能の概要をユーザーに提供します。ページ上部のナビゲーションバーには、Home、Applications、Models、Community の 4 つのメインセクションがあります。
- Home – プラットフォームのランディングページ。
- Applications – すぐに使えるアプリが揃った Application Square を閲覧したり、My Applications（Create New Applications や Create New Workspace for reCamera を含む）で自分のアプリを管理できます。
- Models – Model Library（事前学習済みモデル）、デバイスごとの Workspace、Training（Image Classification Detection、Audio Classification Detection、Image Object Detection）、および Add Model を備えた My Models を含みます。
- Community – 他の SenseCraft AI ユーザーやコントリビューターとつながる場です。
ホームページの主な焦点は Start your journey: Deploy a pretrained Model セクションであり、Seeed Studio のハードウェアを用いて事前学習済みモデルをデプロイする手順を、ステップバイステップで案内します。このプロセスは次の 3 つのステップに分かれています。
- モデルリポジトリから事前学習済みモデルを選択します。
- "Deploy and Preview Vision" 機能を使用して、モデルの結果をリアルタイムでデプロイおよびプレビューします。
- 接続された Seeed Studio ハードウェアにモデルを適用し、センサー出力を確認します。
この機能は、自分で一からトレーニングプロセスを行うことなく、AI モデルを素早く試してみたいユーザーに特に有用です。
ページをさらに下にスクロールすると、「Training Models」機能の紹介があります。このセクションでは、モデルのトレーニングに関連するコンテンツが分類されており、プラットフォームのリソースを使って独自の AI モデルをトレーニングするために必要な情報を、ユーザーが簡単に見つけられるようになっています。
最後に、ホームページには「Sharing Vision AI Models」機能が紹介されており、SenseCraft AI コミュニティ内でのコラボレーションと知識共有を促進します。この機能により、ユーザーは自分がトレーニングしたモデルを他のユーザーと共有でき、コミュニティ意識を高めるとともに、互いの成果を基に発展させていくことができます。
ユーザーアカウント
SenseCraft AI はオープンプラットフォームであり、ログインしなくてもすべての公開 AI モデルや Home ページを閲覧できます。モデルをデプロイする場合や、自分のモデルを共有する場合にのみ、サインアップおよびサインインが必要です。
SenseCraft AI と SenseCraft Data Platform（旧 SenseCAP Cloud Platform）は、いずれも seeed studio がユーザー向けに提供しているソフトウェアサービスであり、どちらか一方のプラットフォームでアカウント登録を行えば、同じアカウントで両方のプラットフォームにサインインできます。
サインアップ
- 名前と有効なメールアドレスを入力し、get capcha をクリックします。
- メールから認証コードを取得し、サインアップページに入力します。
認証コードの有効期限は 10 分です。10 分以内に登録を完了してください。
- パスワードとその他のユーザー情報を入力して、登録を完了します。
サインイン
登録済みのメールアカウントでサインインします。
パスワードを忘れた場合
アカウントのパスワードを忘れた場合は、有効なアカウントを入力して認証コードを取得し、新しいパスワードを設定してください。
認証コードの有効期限は 10 分です。10 分以内にリセットを完了してください。
パスワードの変更
-
ユーザーアカウントページを開き、"Change your password" ボタンをクリックします。
-
古いパスワードと新しいパスワードを入力して、パスワードを変更します。
事前学習済みモデル
SenseCraft AI Web サイトの Pretrained Models セクションは、ユーザーが自分のデバイス上で簡単にアクセスしてデプロイできる AI モデルの包括的なリポジトリです。現在、このモデルリポジトリには 400 以上のモデルが収録されており、今後も継続的に追加されていきます。
モデルカテゴリ
ユーザーが自分のニーズに最も適したモデルを見つけられるよう、ページ左側にはカテゴリ分けされたモデル一覧が表示されます。ユーザーは次のようなさまざまな条件でモデルをフィルタリングできます。
-
Supported Devices: 使用している特定のハードウェアと互換性のあるモデルを選択でき、シームレスな統合と最適なパフォーマンスを実現します。
-
Task: モデルは、Detection、Classification、Segmentation など、想定されているタスクに応じて分類されています。これにより、プロジェクト要件に合致するモデルを素早く特定できます。
-
Publisher: パブリッシャーに基づいてモデルをフィルタリングすることもでき、信頼できる提供元や特定の開発者によるモデルを簡単に見つけられます。
モデル詳細
Pretrained Models ページ中央のエリアには、各モデルの名前、簡単な説明、ビジュアル表現など、重要な情報が表示されます。このクイック概要により、ユーザーは各モデルが何を提供し、自分のプロジェクトにどのように適合するかを把握しやすくなります。
特定のモデルについてより詳細な情報にアクセスするには、そのモデルカードをクリックするだけです。すると、そのモデル専用のページに移動し、詳細な説明、性能指標、デバイス上でモデルをインストールして使用するためのステップバイステップの手順を確認できます。
My Own Models
リポジトリ内の公開 AI モデルに加えて、SenseCraft AI では、自分でトレーニングまたはアップロードしたモデルを持つユーザー向けに、パーソナライズされたスペースも提供しています。SenseCraft AI アカウントにログインすると、「My Own Models」セクションにアクセスでき、そこで自分のプライベートモデルを確認・管理できます。
「My Own Models」セクション内のモデルは完全に非公開であり、それを作成したユーザー本人のみがアクセスできます。ただし、ユーザーは自分のモデルを公開することもでき、その場合、SenseCraft AI コミュニティの他のユーザーもその成果を利用できます。この機能は、ユーザー同士のコラボレーションと知識共有を促進し、活気に満ちた支援的な AI 愛好家コミュニティの形成に寄与します。
トレーニング
SenseCraft AI Web サイトの Training セクションは、特定のユースケースに合わせたカスタマイズモデルを作成するために設計されています。現在、Training ページでは Classification と Object Detection の 2 種類のトレーニングが提供されています。
Classification
Classification トレーニングは TensorFlow をベースとしており、完全に Web ベースで動作するため、オペレーティングシステムによる制約がありません。この機能により、ユーザーはローカルコンピュータのカメラや Seeed Studio 製品で撮影した画像を使ってモデルをトレーニングできます。モデルをトレーニングするには、クラスごとに 40～50 枚の画像を収集するだけでよく、手動でのラベリングは不要です。トレーニングプロセスは高速で、数分でモデルが生成されます。さらに、Web インターフェースにはリアルタイムプレビュー機能が備わっており、トレーニング済みモデルの結果をすぐに確認できます。
Object Detection
Object Detection トレーニングは YOLO-World モデルをベースとしており、Quick Training と Image Collection Training の 2 つのサブセクションに分かれています。
- Quick Training: このオプションでは、オブジェクト名を入力するだけで単一クラス認識モデルを生成できます。Web サイトで説明されているように、「Based on YOLO - World object detection model, you can quickly generate a single-class recognition model by inputting text.」という仕組みです。
Object Detection トレーニングの Quick Training オプションは、最先端のリアルタイム物体検出システムである YOLO-World オブジェクト検出モデルによって動作します。ユーザーがオブジェクト名を入力すると、システムは YOLO-World モデルの事前学習済み知識を活用し、そのオブジェクトの検出に特化した単一クラス認識モデルを生成します。
YOLO（You Only Look Once）モデルファミリーは、物体検出タスクにおける高速性と高精度で知られています。入力画像をグリッドに分割し、各グリッドセルごとにバウンディングボックスとクラス確率を予測します。特に YOLO-World モデルは、幅広い物体を網羅する膨大なデータセットで学習されており、さまざまな検出タスクに対して高い汎化性能を発揮します。
YOLO-World モデルをベースにすることで、クイックトレーニングオプションは、その堅牢な特徴抽出能力と物体位置特定能力を継承しています。事前学習済みモデルが強力な土台となるため、ユーザーは大量の学習データや計算資源を必要とせずに、単一クラス認識モデルを素早く生成できます。
しかし、クイックトレーニングオプションには、適応性や精度の面で制限があることも認識しておく必要があります。生成されるモデルは YOLO-World モデルの既存知識に依存しているため、ユーザーが指定した物体の固有の特徴やバリエーションを常に十分に捉えられるとは限りません。その結果、特定の状況では精度の低下や誤検出につながる可能性があります。
- Image Collection Training：このオプションでは、ユーザーは物体名を入力し、関連する画像をアップロードする必要があります。Web サイトではこの機能を次のように説明しています：「YOLO - World object detection model に基づき、テキストと画像に対してカスタマイズされたトレーニングを行うことができ、生成されるモデルの検出精度を向上させることができます。」
SenseCraft AI の Image Collection Training オプションを使用すると、手動での画像アノテーションを行うことなく、ユーザー自身のデータセットを用いてカスタム物体検出モデルを学習させることができます。この機能は YOLO-World object detection model に基づいており、バウンディングボックスのラベリングや物体セグメンテーションを必要としない、特別なトレーニング手法を利用しています。
このトレーニングオプションの背後にある重要な原理は、弱教師あり学習という概念です。弱教師あり学習では、モデルは厳密な物体位置特定やバウンディングボックスアノテーションを必要とせず、画像レベルのラベルだけを用いて物体を検出する方法を学習します。Image Collection Training の基盤となる YOLO-World モデルは、このアプローチを効果的に活用できるよう設計されています。
トレーニングプロセスでは、ユーザーは検出したい物体名に対応する画像セットを提供します。モデルは、画像内に存在する視覚的パターンや特徴と、与えられた物体名とを関連付けるように学習します。関心のある物体を含む多様な画像をモデルに提示することで、モデルは一般化能力を獲得し、新しい未見の画像内でもそれらの物体を検出できるようになります。
YOLO-World モデルのアーキテクチャとトレーニング手法により、明示的なバウンディングボックスアノテーションを必要とせずに、画像内の物体を自動的に発見し位置特定することが可能になります。これは、畳み込みニューラルネットワーク（CNN）と、モデルが画像中の最も情報量の多い領域に注目するよう誘導する特殊な損失関数の組み合わせによって実現されています。
手動での画像アノテーションを不要にすることで、Image Collection Training オプションは、カスタム物体検出モデルを作成するために必要な労力と時間を大幅に削減します。ユーザーは、検出したい物体を含む画像データセットを収集し、物体名を指定するだけで、モデルにそれらの物体を自動的に認識させることができます。
ただし、データセットの品質と多様性が、最終的なモデルの性能において依然として重要な役割を果たす点には注意が必要です。モデルが正確に一般化し物体を検出できるかどうかは、学習画像の多様性と代表性に依存します。ユーザーは、異なる外観、ポーズ、背景、照明条件などを網羅するデータセットを収集し、堅牢な性能を確保するよう努めるべきです。
これら 2 つのトレーニングオプションを提供することで、SenseCraft AI はユーザーの特定のニーズに最適化されたカスタム物体検出モデルの作成を可能にします。クイックトレーニングオプションは、シンプルな単一クラス認識モデルを素早く生成したいユーザーに最適です。一方、Image Collection Training オプションは、物体名と画像という形で独自の学習データを提供できるため、より高精度でカスタマイズされたモデルを必要とするユーザーに適しています。
モデルの公開
SenseCraft AI は、開発者やモデラーのためのコンテンツ共創を支援するプラットフォームです。成果をグローバルな開発者コミュニティと共有しましょう。同時に、当社の AI オープンプラットフォームを通じて、あなたの AI モデルを商用ニーズと結び付け、さまざまな業界の企業やユーザーに価値あるソリューションを提供する機会が得られます。商業分野における AI 技術のイノベーションと応用を共に実現するため、皆さまの参加と貢献をお待ちしています。
- モデルを追加するには、以下の情報を入力する必要があります：
- Model Name（モデル名）
- Model Excerpt：モデルの簡単な説明
- Model Introduction：モデルの詳細な説明
- Model Deployment Perparation：モデルデプロイの前提条件（任意）
- Supported Device：モデルをデプロイするデバイスを選択します。現在、プラットフォームは Jetson デバイス、XIAO ESP32-S3 などをサポートしています。
- Model Inference Example Image：モデルの推論結果の画像をアップロードします
- 情報の入力が完了したら「Next」をクリックします。
- モデルパラメータに関する以下の情報を入力します。
- 「Publish the model to the public AI model library」はデフォルトでチェックされています。チェックされたまま保存するとモデルは全員に公開され、チェックを外して保存するとモデルは自分だけが閲覧できる状態になります。
| Content | |
|---|---|
| Model Format | 1 モデルの正しいフォーマット 2 オプション：ONNX, Tensor RT, Pytorch 3 プラットフォームは今後さらに多くのモデルフォーマットをサポート予定 |
| Task | 1 モデルのタスク種別 2 オプション：Detection,Classification,Segment,Pose |
| AI Framework | 1 モデルの AI フレームワーク 2 オプション：YOLOV5,YOLOV8,FOMO,ModileNetV2,PFLD 3 プラットフォームは今後さらに多くの AI フレームワークをサポート予定 |
| Classes | 1 特定のタスクや問題に対してモデルが分類するクラスまたはラベル 2 クラス ID とクラス名が正しく対応していることを確認してください。 |
| Model File | 任意のフォーマットでモデルファイルをアップロードします。 |
| Model Precision | 1 モデルの精度 2 オプション：Int8,Float16,Float32 |
プラットフォームの健全な発展を確保するため、ユーザーが投稿したモデルおよびコンテンツを審査します。違法、不適切、または権利侵害にあたるコンテンツが見つかった場合、その公開は許可されず、必要に応じて削除されることがあります。 健全なプラットフォーム環境の維持にご理解とご協力をいただき、ありがとうございます。
カスタム AI モデル管理
ユーザーは自分のモデルに対して、すべての操作権限を持ちます。
Publish Model：プライベートモデルを公開し、すべてのユーザーが利用できるようにします。
Privatize Model：公開モデルをプライベート化し、自分だけが閲覧できるようにします。
Delete Model：プライベートモデルを削除します。公開モデルは削除できません。
Edit Model：モデルのすべての情報を編集できます。
Workspace
SenseCraft AI の Workspace セクションは、デバイス固有の操作および学習済みモデルのデプロイに特化しています。ユーザーがカスタムモデルをさまざまなハードウェアデバイスとシームレスに統合し、その結果をリアルタイムでプレビューできるインターフェースを提供します。現在サポートされているデバイスには、Grove Vision AI V2、XIAO ESP32S3 Sense、NVIDIA Jetson、reCamera があります。
モデルのデプロイとプレビュー
ユーザーが学習済みモデルのアップロードに成功すると、Workspace 内のデバイス固有のページに移動できます。「Process」セクションでは、接続されたデバイスからのリアルタイム検出フィードを確認でき、モデルの動作中のパフォーマンスをプレビューできます。
このリアルタイムプレビュー機能は、デバイスのビデオストリーム内での物体検出におけるモデルの精度と有効性を評価できるため、特に有用です。ユーザーは、モデルによって生成されたバウンディングボックス、ラベル、および信頼度スコアを視覚的に確認でき、その性能に関する即時のフィードバックを得られます。
モデルの微調整
リアルタイムプレビューに加えて、Workspace ではモデルの信頼度しきい値パラメータを微調整する機能も提供しています。この機能により、ユーザーは物体検出に対するモデルの感度を調整し、適合率（precision）と再現率（recall）のバランスを取ることができます。
信頼度しきい値を操作することで、ユーザーは物体検出におけるモデルの挙動を制御できます。しきい値を高く設定すると、モデルはより選別的になり、高い確信度を持つ物体のみを検出します。逆に、しきい値を低く設定すると、モデルはより高感度になり、確信度スコアが低い場合でも物体を検出するようになります。
この微調整機能により、ユーザーはモデルを自分の特定の要件に合わせて適応させることができ、アプリケーションの特性やデバイスが動作する環境に基づいてその性能を最適化できます。
出力とアプリケーション開発
Workspace はモデルのデプロイとプレビューにとどまらず、学習済みモデルを用いたアプリケーションを素早くプロトタイピングおよび開発するためのツールも提供します。「Output」セクションでは、ユーザーがモデルの結果と対話し、それらを目的のアプリケーションに統合するためのさまざまなオプションを提供します。
XIAO ESP32S3 Sense を例に取ると、Workspace は MQTT、GPIO、Serial Port など、さまざまな通信プロトコルとインターフェースをサポートしています。これらのオプションにより、ユーザーはモデルの出力を他のシステムへシームレスに送信したり、物体検出に基づいてアクションをトリガーしたり、検出結果に対してさらなる処理を行ったりすることができます。
これらの出力オプションを提供することで、SenseCraft AI は学習済みモデルを実用的なアプリケーションに統合するプロセスを簡素化します。ユーザーはさまざまな通信方法を素早く試し、自分のモデルの物体検出機能を活用したプロトタイプを開発できます。
例えば、ユーザーは MQTT 出力を利用して、リアルタイムの物体検出データを監視や分析の目的でリモートサーバーに送信することができます。あるいは、GPIO 出力を使用して、特定の物体の存在に基づいてライトを点灯させたり、アラームを作動させたりといった物理的なアクションをトリガーすることもできます。
Serial Port 出力は、デバイスと他のシステム間で通信を確立するための分かりやすい方法を提供し、ユーザーがモデルの結果をさらなる処理や可視化のために送信できるようにします。
技術サポートと製品ディスカッション
弊社製品をお選びいただきありがとうございます。私たちは、製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに応じてお選びいただける、複数のコミュニケーションチャネルをご用意しています。