身体センサー制御でSubway Surfersをプレイ
はじめに
reCameraは、強力なエッジコンピューティング機能を備えたAIカメラです。このデモでは、クラウドに依存することなく、デバイスレベルでYOLO11n-Poseモデルをリアルタイムで実行し、人体のキーポイントと姿勢を正確に識別する能力を紹介します。reCameraでプレイヤーの動きをキャプチャすることで、私たちの体をコントローラーに変換し、自然な身体感覚で「Subway Run」を操作できます：ジャンプ、しゃがみ、左右への回避、すべてがシームレスな動作で実現されます！
このデモを完了した後の使用効果は以下の通りです。
ハードウェア準備
reCamera 1台 コンピューター 1台
| reCamera 2002 シリーズ | reCamera Gimbal | reCamera HQ POE |
|---|---|---|
 |  |  |
1. SenseCraftを開き、「GAME」という名前のアプリケーションを見つける
1.1 Wikiを開く
SenseCraftのエントリーはWikiインターフェースの右上角にあります。クリックしてSenseCraftに入ります
1.2 SenseCraftからアプリケーションを開く
sensecraftアプリケーションセクションを開き、左側の入力ボックスに「GAME」と入力し、GAMEアプリケーションをクリックして入ります。
1.3 このアプリケーションをreCameraにデプロイする
ページでDeploy Applicationをクリックし、次にVisit Workspace Via USBをクリックします（この時点で、reCameraをコンピューターに接続する必要があります）
その後、Workspaceに入り、Node-REDノードがしばらく読み込まれます。読み込みが完了するまで辛抱強くお待ちください
読み込み後、以下のインターフェースが表示されます。Noをクリックして終了します
右上角のDeployボタンをクリックします
デプロイが成功すると、ポップアップウィンドウが表示され、その後デプロイボタンがグレーになります。
次にDashboardを開いて効果を確認します
この時点で、以下のような検出画面を正常に確認できるはずです
1.4 コンピューターのファイアウォールを閉じ、reCameraのIPアドレスを変更する
1.4.1 コンピューターのすべてのファイアウォールをオフにする
ファイアウォールをオフにするのは、後続でreCameraが送信するUDPメッセージが傍受されることを避けるためです。
1.4.2 reCameraのIPアドレスを192.168.42.2に設定する
コンピューターでControl Panel – Network and Internet – Network Connectionsを開き、「UsbNcm Host Device」という名前のデバイスを見つけます。これがあなたのreCameraデバイスです。右クリックしてpropertiesを選択して入ります。
このステップは、reCameraが同じネットワークセグメント内でコンピューターと通信できるようにするためです。
IPV4 – Properties – Use the following IP addressを選択し、IPアドレスを192.168.42.2、サブネットマスクを255.255.255.0に変更し、選択後OKをクリックします。
1.5 上下左右の4つのアクションのトリガーをテストする
1.5.1 初期状態
これは初期アクション、つまり中央状態への復帰です。reCameraを固定し、角度を調整し、reCameraの前に立ち、両腕を自然に両側に置き、ボールが中心線上で紫の線と緑の領域の間にあるように制御します。この時、他のアクションを実行してテストできます。
1.5.1 左
左腕を左に、右腕は静止させ、ボールを中心線の左側に制御します。青色で表示され、この時左と判定されます
1.5.2 右
右腕を右に、左腕は静止させ、ボールを中心線の右側に制御します。黄色で表示され、この時右と判定されます
1.5.3 上
両腕を上に上げる必要があります。紫の線が黄色の線を超えているのが見えたら、上向きと判定され、ボールは白色のままになります。
1.5.4 下
腕を中央に戻し、自然にしゃがみます。ボールをしゃがみエリアに制御します。ボールが赤色に変わり、この時下向きと判定されます。
連続して特定のアクションセットをトリガーしたい場合、例えば連続して2回左に行く、または左に行ってから上に行く場合、最初の左アクションを行った後、ボールを中央に戻してから2番目のアクションを行う必要があります。
2. 対応するpython制御プログラムをダウンロードして実行する
このGitHubリンクをクリックしてください
入った後、このプロジェクトの圧縮パッケージをローカルにダウンロードします
解凍後、scket_udp.pyを開き、まずキーボードを制御する依存関係をダウンロードします。
pip install pynput
その後、このpythonプログラムを実行できます。この時、reCamera検出画面を有効に保ち、アクション判定結果の出力が表示されます。
3. ゲームを開く（地下鉄パルクールWeb版を例として）
reCameraの検出とpythonプログラムが実行され、テストアクションの出力に問題がないことを確認した後、地下鉄パルクールWebページを開き、「Start Game」をクリックしてプレイを開始できます！
画面には1人だけが表示される必要があります。他の人が侵入すると、アクション判定にエラーが発生します！
技術サポートと製品ディスカッション
弊社製品をお選びいただき、ありがとうございます！弊社製品での体験ができるだけスムーズになるよう、さまざまなサポートを提供しています。さまざまな好みやニーズに対応するため、複数のコミュニケーションチャネルを提供しています。