概要
この文書は AI によって翻訳されています。内容に不正確な点や改善すべき点がございましたら、文書下部のコメント欄または以下の Issue ページにてご報告ください。
https://github.com/Seeed-Studio/wiki-documents/issues
SenseCraft AI 概要
SenseCraft AI は、開発者やクリエイターが AI プロジェクトを簡単に構築および展開できるように設計されたオールインワンプラットフォームです。このウェブサイトは、AI 開発プロセスを効率化するための幅広いツールと機能を提供し、さまざまな専門知識レベルのユーザーが利用できるようにしています。本 Wiki では、SenseCraft AI ウェブサイトの主なセクションを探り、それらの主要な機能と特徴について概観します。
ホーム
SenseCraft AI のホームページは、プラットフォームの主要な機能の概要を提供する中心的なハブとして機能します。ページ上部のナビゲーションバーには、ホーム、事前学習モデル、トレーニング、ビジョンワークスペース、SenseCraft AI についての 5 つの主要セクションが表示されています。
ホームページの主な焦点は、旅を始める：事前学習モデルを展開するセクションであり、Seeed Studio ハードウェアを使用して事前学習モデルを展開するためのステップバイステップのプロセスをユーザーに案内します。このプロセスは以下の 3 つの主要なステップに分かれています：
- モデルリポジトリから事前学習モデルを選択します。
- "Deploy and Preview Vision" 機能を使用して、モデルの結果をリアルタイムで展開およびプレビューします。
- モデルを接続された Seeed Studio ハードウェアに適用し、センサー出力を確認します。
この機能は、AI モデルを自分でトレーニングする必要なく、迅速に試すことを希望するユーザーに特に役立ちます。
ページをさらに下にスクロールすると、「モデルのトレーニング」機能の紹介が表示されます。このセクションでは、モデルトレーニングに関連するコンテンツが分類されており、ユーザーがプラットフォームのリソースを使用して独自の AI モデルをトレーニングするために必要な情報を見つけやすくなっています。
最後に、ホームページでは「ビジョン AI モデルの共有」機能が紹介されており、SenseCraft AI コミュニティ内でのコラボレーションと知識共有を促進しています。この機能により、ユーザーは自分のトレーニング済みモデルを他のユーザーと共有でき、コミュニティの一体感を高め、互いの成果を基に構築することが可能になります。
ユーザーアカウント
SenseCraft AI はオープンプラットフォームであり、ログインせずにすべての公開 AI モデルやホームページを閲覧できます。モデルを展開したり、自分のモデルを共有したりする場合のみ、サインアップおよびサインインが必要です。
SenseCraft AI と SenseCraft Data Platform（旧 SenseCAP クラウドプラットフォーム）は、Seeed Studio が提供するソフトウェアサービスであり、いずれかのプラットフォームでアカウントを作成すれば、同じアカウントで両方のプラットフォームにサインインできます。
サインアップ
- 名前と有効なメールアドレスを入力し、get capcha をクリックします。
- メールから認証コードを取得し、サインアップページに入力します。
認証コードは 10 分間有効です。10 分以内に登録を完了してください。
- パスワードおよびその他のユーザー情報を入力して登録を完了します。
サインイン
登録したメールアカウントでサインインします。
パスワードを忘れた場合
アカウントのパスワードを忘れた場合は、有効なアカウントを入力し、認証コードを取得して新しいパスワードを設定してください。
認証コードの有効期間は 10 分間です。10 分以内にリセットを完了してください。
パスワードの変更
ユーザーアカウントページにアクセスし、「Change your password」ボタンをクリックします。
古いパスワードと新しいパスワードを入力してパスワードを変更します。
事前学習済みモデル
SenseCraft AI のウェブサイトにある「事前学習済みモデル」セクションは、ユーザーが簡単にアクセスしてデバイス上で展開できる AI モデルの包括的なリポジトリです。このリポジトリには現在、30,000 以上のモデルが収録されており、さらに新しいモデルが継続的に追加されています。
モデルカテゴリ
ユーザーが自分のニーズに最適なモデルを見つけやすくするために、ページの左側にはモデルのカテゴリリストが表示されています。ユーザーは以下のような基準でモデルをフィルタリングできます：
対応デバイス: 使用している特定のハードウェアと互換性のあるモデルを選択することで、シームレスな統合と最適なパフォーマンスを確保できます。
タスク: モデルは、検出（Detection）、分類（Classification）、セグメンテーション（Segmentation）など、設計されたタスクに基づいて分類されています。これにより、プロジェクト要件に合ったモデルを迅速に特定できます。
パブリッシャー: パブリッシャーに基づいてモデルをフィルタリングすることも可能で、信頼できるソースや特定の開発者からのモデルを簡単に見つけることができます。
モデル詳細
「事前学習済みモデル」ページの中央エリアには、各モデルの名前、簡単な説明、視覚的な表現などの基本情報が表示されています。このクイック概要により、各モデルが提供する内容やプロジェクトにどのように適合するかを把握できます。
特定のモデルに関する詳細情報にアクセスするには、モデルのカードをクリックするだけです。これにより、そのモデル専用のページに移動し、詳細な説明、パフォーマンス指標、デバイスへのインストールおよび使用方法に関するステップバイステップの手順を確認できます。
自分のモデル
SenseCraft AI のリポジトリにある公開 AI モデルに加えて、ユーザーが自分でトレーニングしたりアップロードしたりしたモデルを管理できる個別のスペースも提供されています。SenseCraft AI アカウントにログインすることで、「自分のモデル」セクションにアクセスし、プライベートモデルを見つけて管理できます。
「自分のモデル」セクションにあるモデルは完全にプライベートであり、それを作成したユーザーのみがアクセスできます。ただし、ユーザーは自分のモデルを公開するオプションもあり、SenseCraft AI コミュニティの他のメンバーがその成果を活用できるようになります。この機能は、ユーザー間のコラボレーションや知識共有を促進し、AI 愛好家の活気あるサポートコミュニティを形成します。
トレーニング
SenseCraft AI のウェブサイトにある「トレーニング」セクションは、特定のユースケースに合わせたカスタマイズモデルを作成するために設計されています。現在、「トレーニング」ページでは、分類（Classification）と物体検出（Object Detection）の 2 種類のトレーニングを提供しています。
分類
分類トレーニングは TensorFlow に基づいており、完全にウェブベースで動作するため、オペレーティングシステムの制約がありません。この機能により、ユーザーはローカルコンピュータのカメラや Seeed Studio 製品で撮影した画像を使用してモデルをトレーニングできます。モデルをトレーニングするには、クラスごとに 40～50 枚の画像を収集するだけで、手動ラベリングは不要です。トレーニングプロセスは迅速で、数分でモデルを生成できます。さらに、ウェブインターフェースにはリアルタイムプレビュー機能があり、トレーニング済みモデルの結果を即座に確認できます。
物体検出
物体検出トレーニングは YOLO-World モデルに基づいており、クイックトレーニングと画像収集トレーニングの 2 つのサブセクションに分かれています。
- クイックトレーニング: このオプションでは、オブジェクト名を入力するだけで単一クラス認識モデルを生成できます。ウェブサイトでは次のように説明されています：「YOLO - World 物体検出モデルに基づき、テキストを入力することで単一クラス認識モデルを迅速に生成できます。」
物体検出トレーニングのクイックトレーニングオプションは、最先端のリアルタイム物体検出システムである YOLO-World モデルによって動作します。ユーザーがオブジェクト名を入力すると、システムは YOLO-World モデルの事前学習済み知識を活用して、そのオブジェクトを検出するために特化した単一クラス認識モデルを生成します。
YOLO（You Only Look Once）モデルファミリーは、物体検出タスクにおける速度と精度で知られています。このモデルは入力画像をグリッドに分割し、各グリッドセルに対してバウンディングボックスとクラス確率を予測します。特に YOLO-World モデルは、幅広いオブジェクトをカバーする膨大なデータセットでトレーニングされており、さまざまな検出タスクに対して優れた汎化能力を持っています。
YOLO-World モデルを基盤とすることで、クイックトレーニングオプションはその堅牢な特徴抽出および物体位置特定能力を継承しています。この事前学習済みモデルは強力な基盤を提供し、ユーザーが広範なトレーニングデータや計算リソースを必要とせずに単一クラス認識モデルを迅速に生成できるようにします。
ただし、クイックトレーニングオプションには適応性や精度に関する制限がある可能性があることを認識することが重要です。生成されたモデルは YOLO-World モデルの既存の知識に依存しているため、ユーザーが指定したオブジェクトの独自の特性やバリエーションを必ずしも正確に捉えられるわけではありません。このため、特定のシナリオでは精度が低下したり、誤検出が発生する可能性があります。
- 画像収集トレーニング: このオプションでは、ユーザーがオブジェクト名を入力し、関連する画像をアップロードする必要があります。ウェブサイトではこの機能について次のように説明しています：「YOLO - World オブジェクト検出モデルに基づき、テキストと画像のトレーニングをカスタマイズすることで、生成されたモデルの検出精度を向上させることができます。」
SenseCraft AI の画像収集トレーニングオプションを使用すると、ユーザーは独自のデータセットを使用してカスタムオブジェクト検出モデルをトレーニングできます。この際、手動での画像アノテーションは必要ありません。この機能は YOLO-World オブジェクト検出モデルに基づいており、バウンディングボックスのラベリングやオブジェクトのセグメンテーションを必要としない特殊なトレーニングアプローチを利用しています。
このトレーニングオプションの主要な原則は、弱教師あり学習（weakly supervised learning）の概念に基づいています。弱教師あり学習では、モデルは画像レベルのラベルのみを使用してオブジェクトを検出する方法を学びます。正確なオブジェクトの位置特定やバウンディングボックスのアノテーションは必要ありません。画像収集トレーニングの基盤となる YOLO-World モデルは、このアプローチを効果的に活用するよう設計されています。
トレーニングプロセス中、ユーザーは検出したいオブジェクト名とそれに対応する一連の画像を提供します。その後、モデルは画像内に存在する視覚的なパターンや特徴を提供されたオブジェクト名と関連付ける方法を学びます。対象オブジェクトを含む多様な画像をモデルに提示することで、モデルは一般化能力を身につけ、新しい未見の画像内でそれらのオブジェクトを検出できるようになります。
YOLO-World モデルのアーキテクチャとトレーニング手法により、明示的なバウンディングボックスのアノテーションなしで、画像内のオブジェクトを自動的に発見し、ローカライズすることが可能です。これは、畳み込みニューラルネットワーク（CNN）と、画像内の最も情報量の多い領域にモデルを集中させるよう誘導する特殊な損失関数の組み合わせによって実現されています。
手動での画像アノテーションを不要にすることで、画像収集トレーニングオプションは、カスタムオブジェクト検出モデルの作成に必要な労力と時間を大幅に削減します。ユーザーは、検出したいオブジェクトを含む画像のデータセットを収集し、オブジェクト名を提供するだけで、モデルがそれらのオブジェクトを自動的に認識する方法を学習します。
ただし、結果として得られるモデルの性能には、データセットの品質と多様性が依然として重要な役割を果たします。モデルが一般化し、オブジェクトを正確に検出する能力は、トレーニング画像の多様性と代表性に依存します。ユーザーは、異なるオブジェクトの外観、姿勢、背景、照明条件をカバーするデータセットを収集するよう努めるべきです。これにより、堅牢な性能が保証されます。
これらの2つのトレーニングオプションを提供することで、SenseCraft AI は、ユーザーが特定のニーズに最適化されたカスタムオブジェクト検出モデルを作成できるようにします。クイックトレーニングオプションは、単一クラスの認識モデルを簡単かつ迅速に生成したいユーザーに最適です。一方、画像収集トレーニングオプションは、オブジェクト名と画像という形で独自のトレーニングデータを提供することで、より正確でカスタマイズされたモデルを必要とするユーザーに適しています。
公開モデル
SenseCraft AIは、開発者やモデラー向けのコンテンツ共創プラットフォームです！成果をグローバルな開発者コミュニティと共有しましょう。同時に、AIオープンプラットフォームを通じて、AIモデルを商業化のニーズと組み合わせる機会を得ることができ、さまざまな業界の企業やユーザーに価値あるソリューションを提供します。AI技術の商業分野での革新と応用を共に実現するために、皆様の参加と貢献を心よりお待ちしております！
- モデルを追加するには、以下の情報を入力する必要があります：
- モデル名
- モデル概要：モデルの簡単な説明
- モデル紹介：モデルの詳細な説明
- モデル展開準備：モデル展開の前提条件（必須ではありません）
- 対応デバイス：モデルを展開するデバイスを選択します。現在、プラットフォームはJetsonデバイス、XIAO ESP32などをサポートしています。
- モデル推論例画像：モデルの推論結果の画像をアップロード
- 情報を入力したら「次へ」をクリックします。
- モデルパラメータに関する以下の情報を入力します。
- 公開AIモデルライブラリにモデルを公開する設定はデフォルトでオンになっています。保存後、モデルは全員に表示されます。チェックを外すと、保存後モデルは自分だけが閲覧可能になります。
| 内容 | |
|---|---|
| モデル形式 | 1 モデルの正しい形式 2 オプション：ONNX、Tensor RT、Pytorch 3 プラットフォームはさらに多くのモデル形式をサポート予定 |
| タスク | 1 モデルのタスクタイプ 2 オプション：検出、分類、セグメント、ポーズ |
| AIフレームワーク | 1 モデルのAIフレームワーク 2 オプション：YOLOV5、YOLOV8、FOMO、MobileNetV2、PFLD 3 プラットフォームはさらに多くのAIフレームワークをサポート予定 |
| クラス | 1 モデルが特定のタスクや問題に対して分類するクラスやラベル 2 クラスIDとクラス名が正しく一致していることを確認してください。 |
| モデルファイル | 選択した形式でモデルファイルをアップロードします。 |
| モデル精度 | 1 モデルの精度 2 オプション：Int8、Float16、Float32 |
プラットフォームの健全な発展を確保するため、ユーザーが投稿したモデルやコンテンツを審査します。不適切、非準拠、または侵害のあるコンテンツが発見された場合、公開が許可されず、削除される可能性があります。 健全なプラットフォーム環境を維持するためのご理解とご協力に感謝いたします！
カスタムAIモデル管理
ユーザーは自身のモデルに対してすべての操作権限を持っています。
モデルを公開：プライベートモデルを公開し、すべてのユーザーが利用可能になります。
モデルを非公開化：公開モデルを非公開化し、モデルは自分だけが閲覧可能になります。
モデルを削除：プライベートモデルを削除します。公開モデルは削除できません。
モデルを編集：モデルのすべての情報を修正することができます。
Vision Workspace
SenseCraft AI の Vision Workspace セクションは、デバイス固有の操作とトレーニング済みモデルのデプロイメントに特化しています。ユーザーがカスタムモデルをさまざまなハードウェアデバイスと統合し、リアルタイムで結果をプレビューできるシームレスなインターフェースを提供します。現在サポートされているデバイスには、Grove Vision AI V2、XIAO ESP32S3 Sense、NVIDIA Jetson、および reCamera が含まれます。
モデルのデプロイメントとプレビュー
ユーザーがトレーニング済みモデルを正常にアップロードすると、Vision Workspace 内のデバイス固有のページに移動できます。「Process」セクションでは、接続されたデバイスからのリアルタイム検出フィードを観察でき、モデルのパフォーマンスを実際にプレビューすることが可能です。
このリアルタイムプレビュー機能は特に価値があり、デバイスのビデオストリーム内でのオブジェクト検出におけるモデルの精度と有効性を評価することができます。ユーザーは、モデルによって生成されたバウンディングボックス、ラベル、および信頼スコアを視覚的に確認し、そのパフォーマンスに関する即時のフィードバックを得ることができます。
モデルの微調整
リアルタイムプレビューに加えて、Vision Workspace ではモデルの信頼度閾値パラメータを微調整する機能も提供しています。この機能により、ユーザーはオブジェクト検出に対するモデルの感度を調整し、精度と再現率のバランスを取ることができます。
信頼度閾値を操作することで、ユーザーはモデルの動作を制御できます。信頼度閾値を高く設定すると、モデルはより選択的になり、高い確実性を持つオブジェクトのみを検出します。一方、信頼度閾値を低く設定すると、モデルはより敏感になり、低い信頼スコアでもオブジェクトを検出します。
この微調整機能により、ユーザーは特定の要件に合わせてモデルを適応させることができ、デバイスが動作する環境やアプリケーションの特性に基づいてその性能を最適化することが可能です。
出力とアプリケーション開発
Vision Workspace は、モデルのデプロイメントとプレビューを超えて、トレーニング済みモデルを使用してアプリケーションを迅速にプロトタイプ化および開発するためのツールを提供します。「Output」セクションでは、ユーザーがモデルの結果と対話し、それらを希望するアプリケーションに統合するためのさまざまなオプションを提供します。
例えば、XIAO ESP32S3 Sense を例に取ると、Vision Workspace は MQTT、GPIO、シリアルポートなどのさまざまな通信プロトコルとインターフェースをサポートしています。これらのオプションにより、ユーザーはモデルの出力を他のシステムにシームレスに送信したり、オブジェクト検出に基づいてアクションをトリガーしたり、検出結果をさらに処理したりすることができます。
これらの出力オプションを提供することで、SenseCraft AI はトレーニング済みモデルを実用的なアプリケーションに統合するプロセスを簡素化します。ユーザーはさまざまな通信方法を迅速に試し、モデルのオブジェクト検出機能を活用したプロトタイプを開発することができます。
例えば、ユーザーは MQTT 出力を利用して、リアルタイムのオブジェクト検出データをリモートサーバーに送信し、監視や分析目的で使用することができます。また、GPIO 出力を使用して、特定のオブジェクトの存在に基づいてライトを点灯させたり、アラームを作動させたりする物理的なアクションをトリガーすることも可能です。
シリアルポート出力は、デバイスと他のシステム間の通信を確立する簡単な方法を提供し、モデルの結果をさらに処理したり、視覚化したりするために送信することができます。
技術サポートと製品ディスカッション
弊社製品をお選びいただきありがとうございます！お客様が弊社製品をスムーズにご利用いただけるよう、さまざまなサポートをご提供しております。異なる好みやニーズに対応するため、いくつかのコミュニケーションチャネルをご用意しています。