メインコンテンツまでスキップ

SenseCAP Solar Node を用いた MeshCore 上での AI 画像伝送

MeshCore は、低帯域幅の LoRa メッシュ通信向けに設計されています。通常の写真は数百キロバイト以上のデータを必要とするため、従来の画像伝送は困難です。MeshCore Open は、次の要素を組み合わせることで、MeshCore 上での超低ビットレート画像伝送を実現します。

  • MeshCore Open App
  • AI ベースの画像圧縮
  • MeshCore の GRP_DATA パケット

この画像伝送機能は、インターネットや携帯電話ネットワークが信頼できない場所で視覚情報を共有する必要があるユーザーに適しています。

  • アウトドア探検家:ハイカー、クライマー、遠征チームが、登山道の状況を共有したり、遠隔地の風景画像を送信したり、テキストだけでは不十分な場合に視覚情報を提供できます。
  • 緊急・災害対応チーム:現場の状況を共有し、迅速なビジュアルアップデートを提供し、画像を通じてチームの状況認識を向上させることができます。
  • オフグリッド通信愛好家:AI を活用したエッジ通信を探求したい MeshCore ユーザーやアマチュア無線ユーザーに適しています。

MeshCore における画像伝送の仕組み​

画像は直接送信されるわけではありません。送信側ではローカルの AI エンコーダを使用して、画像を非常に小さなバイナリファイルに変換します。受信側は元のピクセルを復元しません。その代わりに、ローカルの AI デコーダが圧縮データを使用して、見た目が類似した画像を生成します。

ワークフローは次のとおりです。

Original Image
↓
AI Encoder
↓
Small Compressed Data
(~100–200 bytes)
↓
MeshCore Network
↓
AI Decoder
↓
Reconstructed Image

MeshCore Open を始める​

初期セットアップ​

  1. MeshCore Open App をインストールします。こちらをクリックして、画像伝送をサポートする APP リリースをインストールしてください。
  2. MeshCore ノードを APP に接続します。solar node P1 にコンパニオンファームウェアを書き込む必要があります。
  3. LoRa の地域設定とネットワーク設定を構成します。
  4. 受信側として使用できる別の MeshCore ノードがあることを確認します。

一般的な MeshCore のセットアップ手順については、MeshCore Open Getting Start Guide を参照してください。

モデルのインストール​

画像伝送を有効にし、APP の設定で ml モデルファイルをダウンロードします。

画像伝送​

スマートフォンから画像を選択します。

APP は送信前に自動的に画像を処理します。圧縮された画像データは MeshCore ネットワークを通じて送信されます。送信時間は、メッシュホップ数、無線設定、ネットワークトラフィック、および信号品質によって異なります。送信されるデータには元の画像ではなく、圧縮表現のみが含まれます。

受信ノードが圧縮データを受信すると、デコーダが画像再構成を実行します。再構成された画像はチャットインターフェースに表示されます。

AI によって再構成された画像について​

出力画像は元の画像のピクセル単位での完全なコピーではありません。デコーダは、送信されていない追加のディテールを生成する場合があります。そのため、この機能はシーンの把握、屋外でのコミュニケーション、遠隔監視、視覚情報の共有には適していますが、証拠収集、本人確認、科学的な画像解析、正確な画像再現を必要とする用途には適していません。

リソース​

Loading Comments...