SenseCraft AI 概要
SenseCraft AI は、開発者やクリエイターが AI プロジェクトを簡単に構築・デプロイできるよう支援するオールインワンプラットフォームです。このウェブサイトは、AI 開発プロセスを効率化する幅広いツールと機能を提供し、様々なレベルの専門知識を持つユーザーにとってアクセスしやすいものにしています。この wiki では、SenseCraft AI ウェブサイトの主要セクションを探索し、その主要機能と機能性の概要を提供します。
ホーム
SenseCraft AI のホームページは中央ハブとして機能し、プラットフォームの主要機能の概要をユーザーに提供します。ページ上部のナビゲーションバーには、ホーム、事前訓練済みモデル、トレーニング、Vision Workspace、SenseCraft AI についての5つの主要セクションがあります。
ホームページの主な焦点は あなたの旅を始めよう：事前訓練済みモデルをデプロイ セクションで、Seeed Studio ハードウェアを使用して事前訓練済みモデルをデプロイするステップバイステップのプロセスをユーザーにガイドします。プロセスは3つの主要ステップに分かれています：
- モデルリポジトリから事前訓練済みモデルを選択する。
- 「Deploy and Preview Vision」機能を使用してモデルをデプロイし、結果をリアルタイムでプレビューする。
- 接続された Seeed Studio ハードウェアにモデルを適用し、センサー出力を表示する。
この機能は、自分でトレーニングプロセス全体を経ることなく、AI モデルを素早く実験したいユーザーにとって特に有用です。
ページをさらに下にスクロールすると、「トレーニングモデル」機能の紹介があります。このセクションは、モデルトレーニングに関連するコンテンツを分類し、プラットフォームのリソースを使用して独自の AI モデルをトレーニングするために必要な情報をユーザーが見つけやすくしています。
最後に、ホームページでは「Vision AI モデルの共有」機能を紹介しており、SenseCraft AI コミュニティ間でのコラボレーションと知識共有を促進しています。この機能により、ユーザーは訓練済みモデルを他の人と共有でき、コミュニティ感を育み、ユーザーが互いの作業を基に構築できるようになります。
ユーザーアカウント
SenseCraft AI は、ユーザーがログインなしですべての公開AIモデルとホームページを閲覧できるオープンプラットフォームです。モデルをデプロイしたり、独自のモデルを共有したりする場合にのみ、サインアップとサインインが必要です。
SenseCraft AI と SenseCraft Data Platform（旧SenseCAP Cloud Platform）は、どちらもseeed studioがユーザーに提供するソフトウェアサービスです。ユーザーはいずれかのプラットフォームでアカウントにサインアップするだけで、同じアカウントを使用して両方のプラットフォームにサインインできます。
サインアップ
- 名前と有効なメールアドレスを入力し、get capchaをクリックします
- メールから認証コードを取得し、サインアップページに入力します
認証コードは10分間有効です。10分以内に登録を完了してください
- パスワードとその他のユーザー情報を入力して登録を完了します。
サインイン
登録したメールアカウントでサインインします
パスワードを忘れた場合
アカウントのパスワードを忘れた場合は、有効なアカウントを入力し、認証コードを取得して新しいパスワードを設定してください。
認証コードの有効期限は10分です。10分以内にリセットを完了してください。
パスワード変更
-
ユーザーアカウントページにアクセスし、「Change your password」ボタンをクリックします。
-
古いパスワードと新しいパスワードを入力してパスワードを変更します。
事前訓練済みモデル
SenseCraft AI ウェブサイトの事前訓練済みモデルセクションは、ユーザーが簡単にアクセスして自分のデバイスにデプロイできるAIモデルの包括的なリポジトリです。モデルリポジトリには現在、400以上のモデルの印象的なコレクションが収容されており、継続的に追加されています。
モデルカテゴリ
ユーザーがニーズに最も適したモデルを見つけやすくするため、ページの左側にはモデルの分類リストが表示されています。ユーザーは以下のような様々な基準でモデルをフィルタリングできます：
-
対応デバイス: ユーザーは使用している特定のハードウェアと互換性のあるモデルを選択でき、シームレスな統合と最適なパフォーマンスを確保できます。
-
タスク: モデルは、Detection、Classification、Segmentationなど、実行するように設計されたタスクに応じて分類されています。これにより、ユーザーはプロジェクト要件に合致するモデルを素早く特定できます。
-
パブリッシャー: ユーザーはパブリッシャーに基づいてモデルをフィルタリングすることもでき、信頼できるソースや特定の開発者からのモデルを簡単に見つけることができます。
モデル詳細
事前訓練済みモデルページの中央エリアには、各モデルの名前、簡単な説明、視覚的表現を含む重要な情報が表示されています。この簡単な概要により、ユーザーは各モデルが提供する内容と、それがプロジェクトにどのように適合するかを把握できます。
特定のモデルに関するより詳細な情報にアクセスするには、ユーザーはモデルのカードをクリックするだけです。これにより、そのモデル専用のページに移動し、詳細な説明、パフォーマンス指標、デバイスでのモデルのインストールと使用方法に関するステップバイステップの手順を見つけることができます。
マイモデル
リポジトリで利用可能な公開AIモデルに加えて、SenseCraft AIは独自のモデルを訓練またはアップロードしたユーザーのためのパーソナライズされたスペースも提供しています。SenseCraft AIアカウントにログインすることで、ユーザーは「マイモデル」セクションにアクセスでき、そこでプライベートモデルを見つけて管理できます。
「マイモデル」セクションのモデルは完全にプライベートで、作成したユーザーのみがアクセスできます。ただし、ユーザーはモデルを公開するオプションがあり、SenseCraft AIコミュニティの他のメンバーが彼らの作品から恩恵を受けることができます。この機能はユーザー間のコラボレーションと知識共有を促進し、AI愛好家の活気に満ちた支援的なコミュニティを育成します。
トレーニング
SenseCraft AI ウェブサイトのトレーニングセクションは、ユーザーが特定の用途に合わせてカスタマイズされたモデルを作成できるように設計されています。現在、トレーニングページでは分類と物体検出の2種類のトレーニングを提供しています。
分類
分類トレーニングはTensorFlowをベースとしており、完全にウェブベースで動作するため、オペレーティングシステムの制限がありません。この機能により、ユーザーはローカルコンピューターのカメラやSeeed Studio製品から撮影した画像を使用してモデルをトレーニングできます。モデルをトレーニングするには、クラスごとに40〜50枚の画像を収集するだけで、手動でのラベリングは必要ありません。トレーニングプロセスは迅速で、モデルの生成にはわずか数分しかかかりません。さらに、ウェブインターフェースはリアルタイムプレビュー機能を提供し、ユーザーがトレーニングしたモデルの結果を即座に確認できます。
物体検出
物体検出トレーニングはYOLO-Worldモデルをベースとしており、クイックトレーニングと画像収集トレーニングの2つのサブセクションに分かれています。
- クイックトレーニング: このオプションでは、ユーザーは物体名を入力するだけで単一クラス認識モデルを生成できます。ウェブサイトで説明されているように、「YOLO - World物体検出モデルをベースに、テキストを入力することで単一クラス認識モデルを迅速に生成できます。」
物体検出トレーニングのクイックトレーニングオプションは、最先端のリアルタイム物体検出システムであるYOLO-World物体検出モデルによって動作しています。ユーザーが物体名を入力すると、システムはYOLO-Worldモデルの事前トレーニング済み知識を活用して、その物体を検出するために特別に調整された単一クラス認識モデルを生成します。
YOLO（You Only Look Once）モデルファミリーは、物体検出タスクにおけるスピードと精度で知られています。入力画像をグリッドに分割し、各グリッドセルに対してバウンディングボックスとクラス確率を予測します。特にYOLO-Worldモデルは、幅広い物体をカバーする膨大なデータセットでトレーニングされており、様々な検出タスクに対して優れた汎化性能を発揮します。
YOLO-Worldモデルをベースとすることで、クイックトレーニングオプションはその堅牢な特徴抽出と物体位置特定機能を継承しています。事前トレーニング済みモデルが強固な基盤として機能し、ユーザーは大量のトレーニングデータや計算リソースを必要とせずに、迅速に単一クラス認識モデルを生成できます。
ただし、クイックトレーニングオプションには適応性と精度の面で制限があることを認識することが重要です。生成されたモデルはYOLO-Worldモデルの既存知識に依存するため、ユーザーが指定した物体の独特な特徴や変動を常に捉えられるとは限りません。これにより、特定のシナリオでは精度の低下や誤検出が発生する可能性があります。
- 画像収集トレーニング: このオプションでは、ユーザーは物体名を入力し、関連する画像をアップロードする必要があります。ウェブサイトでは、この機能について次のように説明されています：「YOLO - World物体検出モデルをベースに、テキストと画像のカスタムトレーニングが可能で、生成されたモデルの検出精度を向上させることができます。」
SenseCraft AIの画像収集トレーニングオプションでは、ユーザーは手動での画像アノテーションを必要とせずに、独自のデータセットを使用してカスタム物体検出モデルをトレーニングできます。この機能はYOLO-World物体検出モデルをベースとしており、バウンディングボックスのラベリングや物体セグメンテーションの要件を排除する特殊なトレーニングアプローチを活用しています。
このトレーニングオプションの背後にある主要な原理は、弱教師あり学習の概念です。弱教師あり学習では、モデルは正確な物体位置特定やバウンディングボックスアノテーションを必要とせず、画像レベルのラベルのみを使用して物体を検出することを学習します。画像収集トレーニングの基盤となるYOLO-Worldモデルは、このアプローチを効果的に活用するように設計されています。
トレーニングプロセス中、ユーザーは検出したい物体名と対応する画像セットを提供します。その後、モデルは画像に存在する視覚的パターンや特徴を、提供された物体名と関連付けることを学習します。関心のある物体を含む多様な画像にモデルを露出させることで、新しい未見の画像でそれらの物体を汎化して検出することを学習します。
YOLO-Worldモデルのアーキテクチャとトレーニング手法により、明示的なバウンディングボックスアノテーションを必要とせずに、画像内の物体を自動的に発見し位置特定することが可能になります。これは、畳み込みニューラルネットワーク（CNN）と、モデルが画像の最も情報量の多い領域に焦点を当てるように導く特殊な損失関数の組み合わせによって実現されます。
手動での画像アノテーションの必要性を排除することで、画像収集トレーニングオプションは、カスタム物体検出モデルの作成に必要な労力と時間を大幅に削減します。ユーザーは検出したい物体を含む画像のデータセットを収集し、物体名を提供するだけで、モデルがそれらの物体を自動的に認識することを学習させることができます。
ただし、データセットの品質と多様性が結果として得られるモデルの性能において依然として重要な役割を果たすことに注意することが重要です。モデルの汎化能力と物体を正確に検出する能力は、トレーニング画像の多様性と代表性に依存します。ユーザーは堅牢な性能を確保するために、異なる物体の外観、姿勢、背景、照明条件をカバーするデータセットの収集に努めるべきです。
これら2つのトレーニングオプションを提供することで、SenseCraft AIはユーザーが特定のニーズに最適化されたカスタムオブジェクト検出モデルを作成できるようにします。クイックトレーニングオプションは、シンプルな単一クラス認識モデルが必要で、迅速に生成したいユーザーに最適です。一方、画像収集トレーニングオプションは、より正確でカスタマイズされたモデルが必要なユーザーに適しており、オブジェクト名と画像の形で独自のトレーニングデータを提供できます。
モデルの公開
SenseCraft AIは、開発者とモデラーのコンテンツ共同作成をサポートするプラットフォームです！あなたの成果をグローバルな開発者コミュニティと共有しましょう。同時に、私たちのAIオープンプラットフォームを通じて、あなたのAIモデルを商業化ニーズと組み合わせ、さまざまな業界の企業やユーザーに価値あるソリューションを提供する機会があります。AI技術の商業分野での革新と応用を共に実現するため、あなたの参加と貢献をお待ちしています！
- モデルを追加するには、以下の情報を完成させる必要があります：
- モデル名
- モデル抜粋：モデルの簡単な説明
- モデル紹介：モデルの詳細な説明
- モデルデプロイメント準備：モデルデプロイメントの前提条件、必須ではありません
- サポートデバイス：モデルがデプロイされるデバイスを選択します。現在プラットフォームはJetsonデバイス、XIAO ESPS3などをサポートしています
- モデル推論例画像：モデルの推論結果の画像をアップロードします
- 情報が完成したら次へをクリックします。
- モデルパラメータに関する以下の情報を入力します。
- パブリックAIモデルライブラリにモデルを公開するは、デフォルトでチェックされており、保存後にモデルは全員に表示されます。チェックを外すと、保存後にモデルはあなたにのみ表示されます。
| 内容 | |
|---|---|
| モデル形式 | 1 モデルの正しい形式 2 オプション：ONNX、Tensor RT、Pytorch 3 プラットフォームはより多くのモデル形式をサポート予定 |
| タスク | 1 モデルのタスクタイプ 2 オプション：Detection、Classification、Segment、Pose |
| AIフレームワーク | 1 モデルのAIフレームワーク 2 オプション：YOLOV5、YOLOV8、FOMO、ModileNetV2、PFLD 3 プラットフォームはより多くのAIフレームワークをサポート予定 |
| クラス | 1 特定のタスクや問題に対してモデルが分類するクラスまたはラベル 2 クラスIDとクラス名が正しく一致していることを確認してください。 |
| モデルファイル | 選択した形式のモデルファイルをアップロードします。 |
| モデル精度 | 1 モデル精度 2 オプション：Int8、Float16、Float32 |
プラットフォームの健全な発展を確保するため、ユーザーが投稿したモデルとコンテンツを審査いたします。違法、非準拠、または権利侵害のコンテンツが発見された場合、公開が許可されず、相応に削除される可能性があります。 健全なプラットフォーム環境の維持にご理解とご協力をいただき、ありがとうございます！
カスタムAIモデル管理
ユーザーは自分のモデルに対してすべての操作権限を持っています。
モデル公開: プライベートモデルを公開し、すべてのユーザーが利用できるようにします。
モデル非公開: 公開モデルを非公開にし、モデルは自分にのみ表示されます。
モデル削除: プライベートモデルを削除します。公開モデルは削除できません。
モデル編集: モデルのすべての情報を変更できます。
Vision Workspace
SenseCraft AIのVision Workspaceセクションは、デバイス固有の操作と訓練済みモデルのデプロイメントに特化しています。ユーザーがカスタムモデルを様々なハードウェアデバイスと統合し、結果をリアルタイムでプレビューするためのシームレスなインターフェースを提供します。現在サポートされているデバイスには、Grove Vision AI V2、XIAO ESP32S3 Sense、NVIDIA Jetson、およびreCameraが含まれます。
モデルデプロイメントとプレビュー
ユーザーが訓練済みモデルのアップロードに成功すると、Vision Workspace内のデバイス固有のページに移動できます。「Process」セクションでは、接続されたデバイスからのリアルタイム検出フィードを観察でき、モデルの動作パフォーマンスをプレビューできます。
このリアルタイムプレビュー機能は、デバイスのビデオストリーム内でオブジェクトを検出するモデルの精度と有効性を評価できるため、特に価値があります。ユーザーはモデルが生成するバウンディングボックス、ラベル、信頼度スコアを視覚的に検査でき、そのパフォーマンスに関する即座のフィードバックを得られます。
モデル微調整
リアルタイムプレビューに加えて、Vision Workspaceはモデルの信頼度閾値パラメータを微調整する機能も提供します。この機能により、ユーザーはオブジェクト検出に対するモデルの感度を調整でき、精度と再現率のバランスを取ることができます。
信頼度閾値を操作することで、ユーザーはオブジェクト検出に関するモデルの動作を制御できます。より高い信頼度閾値は、モデルをより選択的にし、高い確実性を持つオブジェクトのみを検出します。逆に、より低い信頼度閾値はモデルをより敏感にし、より低い信頼度スコアでもオブジェクトを検出します。
この微調整機能により、ユーザーは特定の要件にモデルを適応させ、アプリケーションの特性とデバイスが動作する環境に基づいてパフォーマンスを最適化できます。
出力とアプリケーション開発
Vision Workspaceは、モデルのデプロイメントとプレビューを超えて、訓練済みモデルを使用してアプリケーションを迅速にプロトタイプ化し開発するためのツールをユーザーに提供します。「Output」セクションでは、ユーザーがモデルの結果と相互作用し、それらを希望するアプリケーションに統合するための様々なオプションを提供します。
XIAO ESP32S3 Senseを例に取ると、Vision WorkspaceはMQTT、GPIO、シリアルポートなどの様々な通信プロトコルとインターフェースをサポートしています。これらのオプションにより、ユーザーはモデルの出力を他のシステムにシームレスに送信し、オブジェクト検出に基づいてアクションをトリガーし、または検出結果に対してさらなる処理を実行できます。
これらの出力オプションを提供することで、SenseCraft AIは訓練済みモデルを実用的なアプリケーションに統合するプロセスを簡素化します。ユーザーは異なる通信方法を迅速に実験し、モデルのオブジェクト検出機能を活用するプロトタイプを開発できます。
例えば、ユーザーはMQTT出力を利用して、監視や分析目的でリアルタイムオブジェクト検出データをリモートサーバーに送信できます。または、GPIO出力を使用して、特定のオブジェクトの存在に基づいてライトを点灯させたりアラームを作動させたりするなどの物理的なアクションをトリガーできます。
シリアルポート出力は、デバイスと他のシステム間の通信を確立する直接的な方法を提供し、ユーザーがさらなる処理や可視化のためにモデルの結果を送信できるようにします。
技術サポート & 製品ディスカッション
弊社製品をお選びいただき、ありがとうございます！お客様の製品体験を可能な限りスムーズにするため、さまざまなサポートを提供いたします。異なる好みやニーズに対応するため、複数のコミュニケーションチャネルをご用意しております。