SenseCraft AI 概要
SenseCraft AI は、開発者やクリエイターが AI プロジェクトを簡単に構築・デプロイできるように設計されたオールインワンのプラットフォームです。Web サイトには、AI 開発プロセスを効率化するためのさまざまなツールや機能が用意されており、さまざまなスキルレベルのユーザーが利用できるようになっています。本 Wiki では、SenseCraft AI Web サイトの主なセクションを取り上げ、それぞれの主な機能と特徴を概観します。
ホーム
SenseCraft AI のホームページは中央ハブとして機能し、プラットフォームの主な機能の概要をユーザーに提供します。ページ上部のナビゲーションバーには、Home、Pretrained Models、Training、Vision Workspace、About SenseCraft AI の 5 つのメインセクションがあります。
ホームページの主な焦点は Start your journey: Deploy a pretrained Model セクションであり、Seeed Studio のハードウェアを使用して事前学習済みモデルをデプロイするためのステップバイステップの手順をユーザーに案内します。このプロセスは次の 3 つのステップに分かれています。
- モデルリポジトリから事前学習済みモデルを選択します。
- "Deploy and Preview Vision" 機能を使用して、モデルの結果をリアルタイムでデプロイおよびプレビューします。
- モデルを接続された Seeed Studio ハードウェアに適用し、センサー出力を確認します。
この機能は、自分でトレーニングプロセス全体を行うことなく、AI モデルをすばやく試してみたいユーザーに特に有用です。
ページをさらに下にスクロールすると、「Training Models」機能の紹介があります。このセクションでは、モデルのトレーニングに関連するコンテンツが分類されており、ユーザーがプラットフォームのリソースを使って独自の AI モデルをトレーニングするために必要な情報を見つけやすくなっています。
最後に、ホームページには「Sharing Vision AI Models」機能が紹介されており、SenseCraft AI コミュニティ内でのコラボレーションと知識共有を促進します。この機能により、ユーザーは自分がトレーニングしたモデルを他のユーザーと共有でき、お互いの成果を基に発展させていくことができます。
ユーザーアカウント
SenseCraft AI はオープンプラットフォームであり、ログインしなくてもすべての公開 AI モデルやホームページを閲覧できます。モデルをデプロイする場合や、自分のモデルを共有する場合にのみ、サインアップおよびサインインが必要です。
SenseCraft AI と SenseCraft Data Platform（旧 SenseCAP Cloud Platform）は、どちらも Seeed Studio がユーザー向けに提供しているソフトウェアサービスです。いずれか一方のプラットフォームでアカウント登録を行えば、同じアカウントで両方のプラットフォームにサインインできます。
サインアップ
- 名前と有効なメールアドレスを入力し、get capcha をクリックします。
- メールから認証コードを取得し、サインアップページに入力します。
認証コードの有効期限は 10 分です。10 分以内に登録を完了してください。
- パスワードとその他のユーザー情報を入力して、登録を完了します。
サインイン
登録済みのメールアカウントでサインインします。
パスワードを忘れた場合
アカウントのパスワードを忘れた場合は、有効なアカウントを入力して認証コードを取得し、新しいパスワードを設定してください。
認証コードの有効期限は 10 分です。10 分以内にリセットを完了してください。
パスワードの変更
-
ユーザーアカウントページを開き、"Change your password" ボタンをクリックします。
-
古いパスワードと新しいパスワードを入力して、パスワードを変更します。
事前学習済みモデル
SenseCraft AI Web サイトの Pretrained Models セクションは、ユーザーが自分のデバイス上で簡単にアクセスしてデプロイできる AI モデルの包括的なリポジトリです。現在、このモデルリポジトリには 400 以上のモデルが収録されており、今後も継続的に追加されていきます。
モデルカテゴリ
ユーザーが自分のニーズに最も適したモデルを見つけられるよう、ページ左側にはカテゴリ分けされたモデル一覧が表示されます。ユーザーは次のようなさまざまな条件でモデルをフィルタリングできます。
-
Supported Devices: ユーザーは、自分が使用している特定のハードウェアと互換性のあるモデルを選択でき、シームレスな統合と最適なパフォーマンスを確保できます。
-
Task: モデルは、Detection、Classification、Segmentation など、想定されているタスクに応じて分類されています。これにより、ユーザーは自分のプロジェクト要件に合致するモデルをすばやく特定できます。
-
Publisher: ユーザーはパブリッシャーに基づいてモデルをフィルタリングすることもでき、信頼できる提供元や特定の開発者によるモデルを簡単に見つけられます。
モデルの詳細
Pretrained Models ページの中央エリアには、各モデルの名前、簡単な説明、ビジュアル表現など、重要な情報が表示されます。この簡潔な概要により、ユーザーは各モデルが何を提供し、自分のプロジェクトにどのように適合するかを把握しやすくなります。
特定のモデルに関するより詳細な情報にアクセスするには、モデルのカードをクリックするだけです。すると、そのモデル専用のページに移動し、詳細な説明、性能指標、デバイス上でモデルをインストールして使用するためのステップバイステップの手順を確認できます。
My Own Models
リポジトリ内で公開されている AI モデルに加えて、SenseCraft AI では、自分でトレーニングしたモデルやアップロードしたモデルを持つユーザー向けに、パーソナライズされたスペースも提供しています。SenseCraft AI アカウントにログインすると、「My Own Models」セクションにアクセスでき、そこで自分のプライベートモデルを確認および管理できます。
「My Own Models」セクション内のモデルは完全に非公開であり、それを作成したユーザー本人のみがアクセスできます。ただし、ユーザーは自分のモデルを公開することもでき、その場合、SenseCraft AI コミュニティの他のユーザーもその成果を活用できます。この機能は、ユーザー同士のコラボレーションと知識共有を促進し、活気に満ちた支援的な AI 愛好家コミュニティの形成に寄与します。
トレーニング
SenseCraft AI Web サイトの Training セクションは、ユーザーが自分のユースケースに合わせてカスタマイズされたモデルを作成できるように設計されています。現在、Training ページでは Classification と Object Detection の 2 種類のトレーニングが提供されています。
Classification
Classification トレーニングは TensorFlow をベースとしており、完全に Web ベースで動作するため、オペレーティングシステムによる制約がありません。この機能により、ユーザーはローカルコンピュータのカメラや Seeed Studio 製品で撮影した画像を使ってモデルをトレーニングできます。モデルをトレーニングするには、クラスごとに 40～50 枚の画像を収集するだけでよく、手動でラベリングする必要はありません。トレーニングプロセスは高速で、数分でモデルを生成できます。さらに、Web インターフェースにはリアルタイムプレビュー機能が備わっており、トレーニングしたモデルの結果をすぐに確認できます。
Object Detection
Object Detection トレーニングは YOLO-World モデルに基づいており、Quick Training と Image Collection Training の 2 つのサブセクションに分かれています。
- Quick Training: このオプションでは、オブジェクト名を入力するだけで単一クラス認識モデルを生成できます。Web サイトで説明されているように、「Based on YOLO - World object detection model, you can quickly generate a single-class recognition model by inputting text.」という仕組みになっています。
Object Detection トレーニング内の Quick Training オプションは、最先端のリアルタイム物体検出システムである YOLO-World 物体検出モデルによって動作します。ユーザーがオブジェクト名を入力すると、システムは YOLO-World モデルの事前学習済み知識を活用し、そのオブジェクトの検出に特化した単一クラス認識モデルを生成します。
YOLO（You Only Look Once）モデルファミリーは、物体検出タスクにおける高速性と高精度で知られています。入力画像をグリッドに分割し、各グリッドセルに対してバウンディングボックスとクラス確率を予測します。特に YOLO-World モデルは、幅広いオブジェクトを網羅する膨大なデータセットでトレーニングされており、さまざまな検出タスクに対して高い汎化性能を発揮します。
YOLO-World モデルをベースに構築することで、Quick Training オプションはその強力な特徴抽出および物体位置特定能力を受け継いでいます。事前学習済みモデルが強力な基盤として機能するため、ユーザーは大量の学習データや計算資源を必要とせずに、単一クラス認識モデルを素早く生成できます。
しかし、Quick Training オプションには適応性や精度の面で制限がある可能性があることを認識しておくことが重要です。生成されるモデルは YOLO-World モデルの既存知識に依存しているため、ユーザーが指定した物体の固有の特徴やバリエーションを常に捉えられるとは限りません。その結果、特定の状況では精度の低下や誤検出につながる可能性があります。
- Image Collection Training：このオプションでは、ユーザーは物体名を入力し、関連する画像をアップロードする必要があります。Web サイトではこの機能を次のように説明しています：「YOLO - World 物体検出モデルに基づき、テキストと画像に対してカスタマイズされたトレーニングを行うことができ、生成されるモデルの検出精度を向上させることができます。」
SenseCraft AI の Image Collection Training オプションを使用すると、ユーザーは手動で画像アノテーションを行うことなく、自身のデータセットを用いてカスタム物体検出モデルを学習させることができます。この機能は YOLO-World 物体検出モデルに基づいており、バウンディングボックスのラベリングや物体セグメンテーションの必要性を排除する、特別な学習手法を利用しています。
このトレーニングオプションの背後にある重要な原理は、弱教師あり学習という概念です。弱教師あり学習では、モデルは正確な物体位置やバウンディングボックスのアノテーションを必要とせず、画像レベルのラベルだけを用いて物体を検出することを学習します。Image Collection Training の基盤となる YOLO-World モデルは、このアプローチを効果的に活用できるよう設計されています。
学習プロセスでは、ユーザーは検出したい物体名に対応する一連の画像を提供します。モデルは、画像内に存在する視覚的パターンや特徴と、与えられた物体名とを関連付けることを学習します。関心のある物体を含む多様な画像をモデルに提示することで、モデルは一般化能力を獲得し、新しい未知の画像内でもそれらの物体を検出できるようになります。
YOLO-World モデルのアーキテクチャと学習手法により、明示的なバウンディングボックスのアノテーションを必要とせずに、画像内の物体を自動的に発見し位置特定することが可能になります。これは、畳み込みニューラルネットワーク（CNN）と、モデルが画像中の最も情報量の多い領域に注目するよう誘導する特別な損失関数の組み合わせによって実現されています。
手動での画像アノテーションの必要性をなくすことで、Image Collection Training オプションはカスタム物体検出モデルを作成するために必要な労力と時間を大幅に削減します。ユーザーは、検出したい物体を含む画像のデータセットを収集し、物体名を指定するだけで、モデルにそれらの物体を自動的に認識させることができます。
ただし、結果として得られるモデルの性能には、依然としてデータセットの品質と多様性が重要な役割を果たすことに注意する必要があります。モデルが正確に一般化し物体を検出できるかどうかは、学習画像の多様性と代表性に依存します。ユーザーは、堅牢な性能を確保するために、物体の外観、姿勢、背景、照明条件などが異なる画像を網羅するデータセットを収集するよう努めるべきです。
これら 2 つのトレーニングオプションを提供することで、SenseCraft AI はユーザーが自分のニーズに最適化されたカスタム物体検出モデルを作成できるようにしています。Quick Training オプションは、シンプルな単一クラス認識モデルを素早く生成したいユーザーに最適です。一方、Image Collection Training オプションは、物体名と画像という形で独自の学習データを提供できるため、より高精度でカスタマイズされたモデルを必要とするユーザーに適しています。
モデルの公開
SenseCraft AI は、開発者やモデラーのためのコンテンツ共創をサポートするプラットフォームです！あなたの成果を世界中の開発者コミュニティと共有しましょう。同時に、当社の AI オープンプラットフォームを通じて、あなたの AI モデルを商用ニーズと組み合わせ、さまざまな業界の企業やユーザーに価値あるソリューションを提供する機会が得られます。商業分野における AI 技術のイノベーションと応用を共に実現するため、皆さまの参加と貢献をお待ちしています！
- モデルを追加するには、次の情報を入力する必要があります：
- Model Name（モデル名）
- Model Excerpt：モデルの簡単な説明
- Model Introduction：モデルの詳細な説明
- Model Deployment Perparation：モデルデプロイの前提条件（任意）
- Supported Device：モデルをデプロイするデバイスを選択します。現在、プラットフォームは Jetson デバイス、XIAO ESP32-S3 などをサポートしています。
- Model Inference Example Image：モデルの推論結果の画像をアップロードします
- 情報の入力が完了したら「Next」をクリックします。
- モデルパラメータに関する次の情報を入力します。
- 「Publish the model to the public AI model library」はデフォルトでチェックされています。チェックされたまま保存するとモデルは全員に表示され、チェックを外して保存するとモデルは自分にのみ表示されます。
| Content | |
|---|---|
| Model Format | 1 モデルの正しいフォーマット 2 オプション：ONNX, Tensor RT, Pytorch 3 プラットフォームは今後さらに多くのモデルフォーマットをサポートします |
| Task | 1 モデルのタスクタイプ 2 オプション：Detection,Classification,Segment,Pose |
| AI Framework | 1 モデルの AI フレームワーク 2 オプション：YOLOV5,YOLOV8,FOMO,ModileNetV2,PFLD 3 プラットフォームは今後さらに多くの AI フレームワークをサポートします |
| Classes | 1 特定のタスクや問題に対してモデルが分類するクラスまたはラベル 2 クラス ID とクラス名が正しく対応していることを確認してください。 |
| Model File | 任意のフォーマットでモデルファイルをアップロードします。 |
| Model Precision | 1 モデルの精度 2 オプション：Int8,Float16,Float32 |
プラットフォームの健全な発展を確保するため、ユーザーが投稿したモデルおよびコンテンツを審査します。違法、不適切、または権利侵害にあたるコンテンツが見つかった場合、その公開は許可されず、必要に応じて削除されることがあります。 健全なプラットフォーム環境の維持にご理解とご協力を賜りますようお願い申し上げます。
カスタム AI モデル管理
ユーザーは自分のモデルに対して、すべての操作権限を持っています。
Publish Model：プライベートモデルを公開し、すべてのユーザーが利用できるようにします。
Privatize Model：公開モデルをプライベート化し、そのモデルを自分だけが閲覧できるようにします。
Delete Model：プライベートモデルを削除します。公開モデルは削除できません。
Edit Model：モデルのすべての情報を編集できます。
Vision Workspace
SenseCraft AI の Vision Workspace セクションは、デバイス固有の操作および学習済みモデルのデプロイに特化しています。ユーザーがカスタムモデルをさまざまなハードウェアデバイスとシームレスに統合し、その結果をリアルタイムでプレビューできるインターフェースを提供します。現在サポートされているデバイスには、Grove Vision AI V2、XIAO ESP32S3 Sense、NVIDIA Jetson、reCamera があります。
モデルのデプロイとプレビュー
ユーザーが学習済みモデルのアップロードに成功すると、Vision Workspace 内のデバイス固有のページに移動できます。「Process」セクションでは、接続されたデバイスからのリアルタイム検出フィードを確認でき、モデルの動作をプレビューすることができます。
このリアルタイムプレビュー機能は、デバイスのビデオストリーム内での物体検出におけるモデルの精度と有効性を評価できるため、特に有用です。ユーザーは、モデルによって生成されたバウンディングボックス、ラベル、および信頼度スコアを視覚的に確認でき、その性能に関する即時のフィードバックを得ることができます。
モデルの微調整
リアルタイムプレビューに加えて、Vision Workspace ではモデルの信頼度しきい値パラメータを微調整する機能も提供しています。この機能により、ユーザーは物体検出に対するモデルの感度を調整し、適合率と再現率のバランスを取ることができます。
信頼度しきい値を操作することで、ユーザーは物体検出に関するモデルの挙動を制御できます。信頼度しきい値を高く設定すると、モデルはより選別的になり、高い確信度を持つ物体のみを検出します。逆に、信頼度しきい値を低く設定すると、モデルはより敏感になり、低い信頼度スコアでも物体を検出するようになります。
この微調整機能により、ユーザーはアプリケーションの特性やデバイスが動作する環境に基づいてモデルの性能を最適化し、自身の要件に合わせてモデルを調整することができます。
出力とアプリケーション開発
Vision Workspace は、モデルのデプロイとプレビューにとどまらず、学習済みモデルを用いたアプリケーションを素早くプロトタイピングおよび開発するためのツールをユーザーに提供します。「Output」セクションでは、ユーザーがモデルの結果と対話し、それらを目的のアプリケーションに統合するためのさまざまなオプションを提供しています。
XIAO ESP32S3 Sense を例に取ると、Vision Workspace は MQTT、GPIO、Serial Port など、さまざまな通信プロトコルやインターフェースをサポートしています。これらのオプションにより、ユーザーはモデルの出力を他のシステムへシームレスに送信したり、物体検出に基づいてアクションをトリガーしたり、検出結果に対してさらなる処理を行ったりすることができます。
これらの出力オプションを提供することで、SenseCraft AI は学習済みモデルを実用的なアプリケーションに統合するプロセスを簡素化します。ユーザーはさまざまな通信方法を素早く試し、モデルの物体検出機能を活用したプロトタイプを開発できます。
例えば、ユーザーは MQTT 出力を利用して、リアルタイムの物体検出データをリモートサーバーへ送信し、監視や分析目的で活用できます。あるいは、GPIO 出力を使用して、特定の物体の存在に基づき、ライトを点灯させたりアラームを作動させたりといった物理的なアクションをトリガーすることもできます。
Serial Port 出力は、デバイスと他のシステム間で通信を確立するための分かりやすい方法を提供し、ユーザーがモデルの結果をさらなる処理や可視化のために送信できるようにします。
技術サポートと製品ディスカッション
弊社製品をお選びいただきありがとうございます。私たちは、製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。異なる好みやニーズに対応するため、複数のコミュニケーションチャネルをご用意しています。