メインコンテンツまでスキップ

LeRobot における reBot Arm B601-RS

今すぐ入手

License: MITPython VersionPlatformPinocchio

6自由度ロボットアーム · 複数モータ対応 · 運動学ソルバ · 軌道計画 · 完全オープンソース

reBot Arm B601-RS は、Seeed が立ち上げたオープンソースのロボットアームプロジェクトで、エンボディドインテリジェンス学習のハードルを下げることを目的としています。構造設計とコードを余すところなくオープンソース化し、ロボティクス技術を誰もが利用できるようにしています。

LeRobot は、PyTorch 上で実世界ロボティクス向けのモデル、データセット、ツールを提供することに注力しています。その目的はロボティクスの参入障壁を下げ、誰もがデータセットや事前学習モデルを共有することで貢献し、恩恵を受けられるようにすることです。LeRobot は、模倣学習と強化学習を中心に、実世界で検証された最先端の手法を統合しています。人手によるデモを含むデータセット、事前学習済みモデル群、シミュレーション環境を提供しており、ユーザーはロボットを組み立てることなくすぐに始めることができます。

Star on GitHub4.2K

このWikiでは、reBot-DevArm 向けのデバッグチュートリアルを提供し、LeRobot フレームワーク内でのデータ収集と学習を実装します。

注意

Seeed Studio のチュートリアルは、公式ドキュメントに基づいて厳密に更新されています。解決できないソフトウェアや環境の問題に遭遇した場合は、まず記事末尾のFAQを確認するか、カスタマーサービスに連絡して SeeedStudio LeRobot 議論グループに参加してください。こちらでも質問できます：LeRobot GitHub または Discord Channel。

初期システム環境​

  • Ubuntu 22.04/Ubuntu 24.04
  • NVIDIA GPU（CUDA 12+、任意。GPU 加速による学習および推論用）
  • Python 3.12
  • Torch 2.6（CPU ビルドでも基本的なワークフローは実行可能。GPU 加速には CUDA ビルドが必要）

LeRobot をインストールする​

LeRobot は、CPU のみのマシンでも基本的なワークフローであればインストールして実行できます。GPU 加速による学習や推論が必要な場合は、まずお使いのコンピュータに NVIDIA GPU が搭載されていることを確認し、CUDA バージョンに対応した PyTorch と Torchvision をインストールしてください。

1

1. Miniforge をインストールする​

cd ~
wget "https://github.com/conda-forge/miniforge/releases/latest/download/Miniforge3-$(uname)-$(uname -m).sh"
bash Miniforge3-$(uname)-$(uname -m).sh

~/miniforge3/bin/conda init bash
source ~/.bashrc
2

2. LeRobot リポジトリをクローンする​

mkdir ~/rebot_lerobot
cd ~/rebot_lerobot
git clone https://github.com/Seeed-Projects/lerobot.git
3

3. Conda 環境を作成して LeRobot をインストールする​

ヒント

機能パッケージの詳細については、以下を参照してください：

LeRobot リポジトリには pyproject.toml が含まれています。Conda 環境を作成し、すべての依存関係をインストールします。

cd ~/rebot_lerobot

# Create the conda environment (Python 3.12)
conda create -y -n lerobot python=3.12

# Activate the environment
conda activate lerobot

# Install the main LeRobot project in editable mode
pip install -e ./lerobot

# Add the dependency packages
pip install lerobot-teleoperator-rebot-arm-102
pip install lerobot-robot-seeed-b601
pip install motorbridge
4

4. 動画関連の依存パッケージをインストールする​

ffmpeg は動画デコード用の依存パッケージです。Conda を使ってインストールします：

conda install ffmpeg -c conda-forge
ヒント

バージョンに関する注意：

  • 既定では ffmpeg 7.X がインストールされ、libsvtav1 エンコーダをサポートします。

  • バージョン互換性の問題が発生した場合は、ffmpeg 7.1.1 をインストールしてください：

    conda install ffmpeg=7.1.1 -c conda-forge

  • ffmpeg -encoders | grep svtav1 を実行して、libsvtav1 エンコーダがサポートされているか確認します。

Ubuntu x86 では、その他の動画関連依存パッケージの設定は不要です。ステップ 5 に進んでください。

5

5. PyTorch と Torchvision を確認する​

pip で LeRobot 環境をインストールすると、元の PyTorch と Torchvision が CPU ビルドに置き換えられる場合があるため、Python で結果を確認してください。

python3
import torch
print(torch.cuda.is_available())
exit()

出力が False の場合、現在の環境では CPU 版の PyTorch が使用されています。これは NVIDIA GPU を搭載していないコンピュータでは想定された動作であり、学習速度は大幅に遅くなりますが、CPU ベースの基本的なワークフローは継続して利用できます。お使いのコンピュータに NVIDIA GPU が搭載されていて GPU 加速が必要な場合は、公式 PyTorch ガイド に従い、CUDA バージョンに対応した PyTorch と Torchvision をインストールしてください。その場合、最終的な確認結果は True になるはずです。

ヒント

Jetson デバイスを使用している場合は、このチュートリアル に従って GPU 対応の PyTorch と Torchvision をインストールしてください。

NVIDIA RTX 50 シリーズ GPU では、CUDA 12.8 以降に対応した PyTorch プレビュー版が必要です：

pip install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu128

ロボットアームをキャリブレーションする​

次に、reBot B601-RS ロボットをキャリブレーションするために、電源とデータケーブルを接続する必要があります。これは、リーダーアームとフォロワーアームが同じ物理位置にあるときに、同じ位置値を持つようにするためです。このキャリブレーションは、ある reBot B601-RS ロボットで学習したニューラルネットワークを別のロボットでも動作させるために不可欠です。ロボットアームを再キャリブレーションする必要がある場合は、~/.cache/huggingface/lerobot/calibration/robots または ~/.cache/huggingface/lerobot/calibration/teleoperators 配下のファイルを完全に削除してから、ロボットアームを再キャリブレーションしてください。そうしないと、エラーが表示されます。ロボットアームのキャリブレーション情報は、このディレクトリ配下の JSON ファイルに保存されます。

ヒント

フォロワーに接続できない場合は、まず getting started の Wiki に移動し、motorbridge が提供するインターフェースを使用してロボットアームが正常に動作しているかテストしてください。

B601-RS は組み立て後に 1 回だけキャリブレーションを行う必要があります。以下がキャリブレーションコマンドです。ゼロ位置（グリッパーが完全に閉じた状態）については図を参照してください。


# follower
sudo ip link set can0 down 2>/dev/null
sudo ip link set can0 type can bitrate 1000000
sudo ip link set can0 up

lerobot-calibrate \
    --robot.type=seeed_b601_rs_follower \
    --robot.port=can0 \
    --robot.id=follower1 \
    --robot.can_adapter=socketcan

Jetson（Jetpack 6.x）を使用する場合は、以下の手順で Jetson に対応する CAN ポート番号を確認してください。

for i in /sys/class/net/can*; do
    [ "$(basename "$(readlink -f "$i/device/driver" 2>/dev/null)")" = "pcan" ] && basename "$i"
done

出力:

cam2  # also maybe can0,can1,can x

以降のすべてのフォロワーコマンドのポート番号は、ここで確認した出力と一致している必要があります。

Jetson に PCAN ドライバがインストールされていない場合、通信は常に失敗します。Quick Start セクションの Jetson PCAN ドライバインストールガイドを参照してください。

テレオペレーション​

危険

すべてのロボットアームの動作シナリオにおいて、同じ注意が必要です！

テレオペレーション中に、マスタ・スレーブロボットアームで電源断、電源接触不良、信号線の脱落などが発生した場合は、まずプログラムコードを停止し、ロボットアームをホームのゼロ位置に戻してください。その後で電源を再接続し、プログラムを再起動します。これにより、データの乱れによるロボットアームの暴走や安全上のリスクを防ぐことができます。

まずシリアルポートに権限を付与します：

# leader
sudo chmod 666 /dev/ttyUSB*
# follower
sudo ip link set can0 down 2>/dev/null
sudo ip link set can0 type can bitrate 1000000
sudo ip link set can0 up

テレオペレーションを実行します：

lerobot-teleoperate \
    --robot.type=seeed_b601_rs_follower \
    --robot.port=can0 \
    --robot.id=follower1 \
    --robot.can_adapter=socketcan \
    --teleop.type=rebot_arm_102_leader \
    --teleop.port=/dev/ttyUSB0 \
    --teleop.id=rebot_arm_102_leader

カメラを追加​

RealSense 深度カメラは LeRobot に RGB-D 認識機能を提供でき、物体認識、点群再構成、テーブルトップマニピュレーションなどのタスクに適しています。ここで推奨するモデルは RealSense D405 と RealSense D435i です。

RealSense D405

RealSense D405 は短距離用のステレオ深度カメラであり、テーブルトップロボットマニピュレーションなどの高精度な近距離タスク向けに設計されており、一般的な動作距離は 7 cm ～ 50 cm です。

RealSense D435i

RealSense D435i は深度センシング、RGB 画像、IMU を組み合わせており、3D 再構成、SLAM、ロボットによる環境認識などの中距離～近距離アプリケーションに適しています。

1

カメラ用ブランチに切り替える

Step 1

現在のカメラサポートは DepthCameraSupport ブランチで提供されています：

git checkout DepthCameraSupport
git pull origin DepthCameraSupport

現在のブランチを確認します：

git branch --show-current

期待される出力：

DepthCameraSupport
2

RealSense をインストールする

Step 2

RealSense のみを使用する場合：

pip install -e ".[realsense]"
3

USB デバイスの権限を付与する

Step 3

sudo chmod a+rw /dev/bus/usb/*/*
4

カメラを検出する

Step 4

lerobot-find-cameras realsense

このステップでは次の情報が出力されます：

  • カメラモデル
  • シリアル番号
  • USB 情報
  • デフォルトのストリーム設定
5

RealSense のサンプルを実行する

Step 5

デュアル RealSense テスト：

lerobot-teleoperate \
    --robot.type=seeed_b601_rs_follower \
    --robot.port=can0 \
    --robot.id=follower1 \
    --robot.can_adapter=socketcan \
    --robot.cameras='{
    d435i_color: {
      type: realsense_d435i_color,
      serial_number_or_name: "419522072950",
      width: 640,
      height: 480,
      fps: 30,
      color_mode: rgb,
      color_stream_format: rgb8,
      rotation: 0,
      warmup_s: 1
    },
    d435i_depth: {
      type: realsense_d435i_depth,
      serial_number_or_name: "419522072950",
      width: 640,
      height: 480,
      fps: 30,
      max_depth_m: 2.0,
      depth_alpha: 0.2,
      rotation: 0,
      warmup_s: 5
    },
    d405_color: {
      type: realsense_d405_color,
      serial_number_or_name: "409122273421",
      width: 640,
      height: 480,
      fps: 30,
      color_mode: rgb,
      color_stream_format: rgb8,
      rotation: 0,
      warmup_s: 1
    },
    d405_depth: {
      type: realsense_d405_depth,
      serial_number_or_name: "409122273421",
      width: 640,
      height: 480,
      fps: 30,
      depth_alpha: 0.03,
      rotation: 0,
      warmup_s: 5
    }
  }' \
    --teleop.type=rebot_arm_102_leader \
    --teleop.port=/dev/ttyUSB0 \
    --teleop.id=rebot_arm_102_leader \
    --display_data=true
6

パラメータ設定を確認する

Step 6

  • depth_alpha は深度画像のスケーリング係数を制御し、表示結果や対象距離の範囲に応じて調整できます。
  • 3 台以上の深度カメラを接続する場合は、全体の安定性を高めるために fps を 15 に下げることを推奨します。
  • 安定性とリアルタイム性のバランスを取るため、解像度は 640x480 に保つことを推奨します。

データセット収集​

lerobot-record \
    --robot.type=seeed_b601_rs_follower \
    --robot.port=can0 \
    --robot.id=follower1 \
    --robot.can_adapter=socketcan \
    --robot.cameras="{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: "MJPG"}, side: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30, fourcc: "MJPG"}}" \
    --teleop.type=rebot_arm_102_leader \
    --teleop.port=/dev/ttyUSB0 \
    --teleop.id=rebot_arm_102_leader \
    --display_data=true \
    --dataset.repo_id=seeed_rebot_b601_rs/test \
    --dataset.num_episodes=5 \
    --dataset.single_task="Grab the black cube" \
    --dataset.push_to_hub=false \
    --dataset.episode_time_s=30 \
    --dataset.reset_time_s=30

その中で、repo_id は任意に変更でき、push_to_hub=false とします。最終的に、データセットはホームフォルダ内の ~/.cache/huggingface/lerobot ディレクトリに保存され、前述の seeed_rebot_b601_rs/test フォルダが作成されます。

Record 関数

record 関数は、ロボットの動作中にデータを取得および管理するための一連のツールを提供します。

1. データ保存

  • データは LeRobotDataset 形式で保存され、記録中にディスクに保存されます。
  • 既定では、記録後にデータセットはあなたの Hugging Face ページにプッシュされます。
  • アップロードを無効にするには、--dataset.push_to_hub=False を使用します。

2. チェックポイントと再開

  • 記録中にチェックポイントが自動的に作成されます。
  • 中断後に再開するには、--resume=true を付けて同じコマンドを再実行します。

⚠️ 重要な注意：再開する場合、--dataset.num_episodes には、データセット内の目標総エピソード数ではなく、「追加で記録したいエピソード数」を設定してください。

  • 最初から記録をやり直すには、データセットディレクトリを手動で削除します。

3. 記録パラメータ

コマンドライン引数を使ってデータ記録の流れを設定します：

ParameterDescriptionDefault
--dataset.episode_time_s各データエピソードの長さ（秒）60
--dataset.reset_time_s各エピソード後の環境リセット時間（秒）60
--dataset.num_episodes記録するエピソードの総数50

4. 記録中のキーボード操作

キーボードショートカットを使ってデータ記録の流れを制御します：

KeyAction
→ (右矢印)現在のエピソード／リセットを早期終了し、次へ進む。
← (左矢印)現在のエピソードをキャンセルし、再記録する。
ESCセッションを即座に停止し、動画をエンコードしてデータセットをアップロードする。
ヒント

キーボード入力が反応しない場合は、pynput のバージョンを 1.6.8 などにダウングレードする必要があるかもしれません。

pip install pynput==1.6.8

データ収集のヒント

  • タスクの提案：さまざまな位置にある物体を把持し、ビンに入れる。
  • スケール：50 エピソード以上を記録する（位置ごとに 10 エピソード）。
  • 一貫性：
    • カメラを固定したままにする。
    • 同一の把持動作を維持する。
    • 操作対象の物体がカメラ映像内で見えるようにする。
  • 段階的な拡張：
    • 新しい位置、把持方法、カメラ調整などのバリエーションを加える前に、まずは安定して把持できる状態から始める。
    • 失敗を防ぐため、複雑さを急激に増やすことは避ける。

💡 経験則：画面上のカメラ画像だけを見て、自分自身でタスクを実行できる状態であるべきです。

この重要なトピックをさらに深く知りたい場合は、良いデータセットとは何かについて執筆した blog post を参照してください。

トラブルシューティング

Linux 固有の問題： 記録中に Right Arrow/Left Arrow/ESC キーが反応しない場合：

  • $DISPLAY 環境変数が設定されているか確認します（pynput limitations を参照）。

データセットの可視化​

echo ${HF_USER}/rebot_test

データをアップロードしている場合は、次のコマンドでローカルでも可視化できます：

lerobot-dataset-viz \
  --repo-id ${HF_USER}/rebot_test \
  --episode-index 0 \
  --display-compressed-images=false

--dataset.push_to_hub=false を使用してデータをアップロードしていない場合でも、次のようにローカルで可視化できます：

lerobot-dataset-viz \
  --repo-id seeed_rebot_b601_rs/test \
  --episode-index 0 \
  --display-compressed-images=false

ここで、seeed_rebot_b601_rs/test はデータ収集中に定義したカスタム repo_id 名です。

エピソードのリプレイ​

ヒント

不安定なため、スキップしても試してみても構いません。

ここまで来たら、ロボット上で最初のデータセットをリプレイしてみましょう：

lerobot-replay \
    --robot.type=seeed_b601_rs_follower \
    --robot.port=can0 \
    --robot.can_adapter=socketcan \
    --robot.id=follower1 \
    --dataset.repo_id=seeed_rebot_b601_rs/test \
    --dataset.episode=0

この時点で、ロボットは記録時にテレオペレーションで行ったのと同じ動作を実行するはずです。

学習と評価​

公式チュートリアル ACT を参照してください。

学習

ロボットを制御するポリシーを学習させるには、python -m lerobot.scripts.train スクリプトを使用します。いくつかのパラメータ指定が必須です。以下はコマンド例です：

lerobot-train \
  --dataset.repo_id=${HF_USER}/rebot_test \
  --policy.type=act \
  --output_dir=outputs/train/act_rebot_test \
  --job_name=act_rebot_test \
  --policy.device=cuda \
  --wandb.enable=false \
  --steps=300000

ローカルデータセットで学習したい場合は、repo_id がデータ収集時に使用した名前と一致していることを確認し、--policy.push_to_hub=false を追加してください。

lerobot-train \
  --dataset.repo_id=seeed_rebot_b601_rs/test \
  --policy.type=act \
  --output_dir=outputs/train/act_rebot_test \
  --job_name=act_rebot_test \
  --policy.device=cuda \
  --wandb.enable=false \
  --policy.push_to_hub=false \
  --steps=300000
ヒント

RTX 50 シリーズ GPU を使用している場合は、torchvision のプレビュー版で不足している API を回避するために --dataset.video_backend=pyav を追加する必要があります。学習コマンドは次のようになります：

lerobot-train \
  --dataset.repo_id=seeed_rebot_b601_rs/test \
  --dataset.video_backend=pyav \
  --policy.type=act \
  --output_dir=outputs/train/act_rebot_test \
  --policy.device=cuda \
  --wandb.enable=false \
  --policy.push_to_hub=false \
  --steps=300000

コマンドの説明

  • データセット指定：--dataset.repo_id=${HF_USER}/rebot_test パラメータでデータセットを指定します。
  • 学習ステップ数：--steps=300000 を使って学習ステップ数を変更します。アルゴリズムのデフォルトは 800000 ステップです。タスクの難易度に応じて調整してください。よく分からない場合は多めに設定しても構いません。学習中にチェックポイントが生成され、任意のチェックポイントから評価を再開できます。
  • ポリシータイプ：policy.type=act でポリシーを指定します。同様に、[act, diffusion, pi0, pi0fast, sac, smolvla] などのポリシーを切り替えることもできます。これにより configuration_act.py から設定が読み込まれます。重要な点として、このポリシーは、モータ状態、モータアクション、カメラの台数といった情報がすでにデータセットに保存されているため、あなたのロボットに自動的に適応します。
  • デバイス選択：Nvidia GPU 上で学習しているため policy.device=cuda を指定していますが、Apple Silicon で学習する場合は policy.device=mps を使用できます。
  • 可視化ツール：学習チャートを Weights and Biases で可視化するために wandb.enable=true を指定しています。これは任意ですが、使用する場合は wandb login を実行してログインしていることを確認してください。

評価

ポリシーのチェックポイントを入力として、lerobot/record.py の record 関数を使用できます。例えば、次のコマンドを実行して 10 エピソード分の評価を記録します：

lerobot-record \
  --robot.type=seeed_b601_rs_follower \
  --robot.port=can0 \
  --robot.can_adapter=socketcan \
  --robot.cameras='{ front: {type: opencv, index_or_path: 0, width: 640, height: 480, fps: 30, fourcc: "MJPG"}, side: {type: opencv, index_or_path: 2, width: 640, height: 480, fps: 30, fourcc: "MJPG"} }' \
  --robot.id=follower1 \
  --display_data=false \
  --dataset.repo_id=seeed/eval_test123 \
  --dataset.single_task="Put lego brick into the transparent box" \
  --policy.path=outputs/train/act_rebot_test/checkpoints/last/pretrained_model
  1. --policy.path パラメータは、ポリシー学習結果の重みファイルへのパスを示します（例：outputs/train/act_rebot_test/checkpoints/last/pretrained_model）。モデル学習結果の重みファイルを Hub にアップロードした場合は、モデルリポジトリ（例：${HF_USER}/act_rebot_test）を使用することもできます。
  2. データセット名 dataset.repo_id は eval_ で始まります。この操作により、評価中の動画とデータが別々に記録され、seeed/eval_test123 のような eval_ で始まるフォルダに保存されます。
  3. 評価フェーズ中に File exists: 'home/xxxx/.cache/huggingface/lerobot/xxxxx/seeed/eval_xxxx' というエラーが発生した場合は、まず eval_ で始まるフォルダを削除してから、再度プログラムを実行してください。
  4. mean is infinity. You should either initialize with stats as an argument or use a pretrained model というエラーが出る場合は、--robot.cameras パラメータ内の front や side といったキーワードが、データセット収集時に使用したものと厳密に一致している必要がある点に注意してください。

FAQ​

  • このドキュメントのチュートリアルに従っている場合は、推奨されている GitHub リポジトリ https://github.com/Seeed-Projects/lerobot.git を git clone してください。本ドキュメントで推奨しているリポジトリは検証済みの安定版です。一方、公式の LeRobot リポジトリは常に最新バージョンへ更新されており、データセットのバージョン違いやコマンドの違いなど、予期せぬ問題が発生する可能性があります。

  • 次のようなエラーが発生した場合：

    Could not connect on port "/dev/ttyUSB0" or "/dev/ttyACM0"

    そして、ls /dev/ttyUSB* または ls /dev/ttyACM* を実行したときにデバイスが存在することが確認できる場合は、シリアルポートの権限付与を忘れていることを意味します。ターミナルで sudo chmod 666 /dev/ttyUSB* /dev/ttyACM* を実行して修正してください。

  • 次のようなエラーが発生した場合：

    No valid stream found in input file. Is -1 of the desired media type?

    conda install ffmpeg=7.1.1 -c conda-forge を使用して ffmpeg 7.1.1 をインストールしてください。

  • 50 セットのデータで ACT をトレーニングするには、RTX 3060（8GB）を搭載したノート PC で約 6 時間、RTX 4090 や A100 GPU を搭載した PC では約 2〜3 時間かかります。

  • データ収集時には、カメラの位置、角度、および周囲の照明が安定していることを確認してください。カメラに映り込む不安定な背景や歩行者の量を減らしてください。デプロイ環境が大きく変化しすぎると、ロボットアームが正しく把持できなくなる可能性があります。

  • データ収集コマンドでは、十分なデータを収集できるように num-episodes パラメータが設定されていることを確認してください。途中で手動で一時停止しないでください。データの平均値と分散はデータ収集完了後にのみ計算され、これらはトレーニングに必要です。

  • プログラムが USB カメラから画像データを読み取れないと表示する場合は、USB カメラがハブ経由で接続されていないことを確認してください。USB カメラはデバイスに直接接続し、高速な画像転送速度を確保する必要があります。

ヒント

解決できないソフトウェアの問題や環境依存関係の問題に遭遇した場合は、このチュートリアル末尾の FAQ セクションを確認するだけでなく、速やかに LeRobot プラットフォーム または LeRobot Discord チャンネル に問題を報告してください。

参考文献​

Seeed Studio 英語 Wiki: Lerobot で SO100Arm ロボットアームを使用する方法

TheRobotStudio プロジェクト: SO-ARM10x

Huggingface プロジェクト: LeRobot

Dnsty: Jetson Containers

Jetson AI Lab

Diffusion Policy

ACT or ALOHA

TDMPC

VQ-BeT

技術サポート & 製品ディスカッション​

弊社製品をお選びいただきありがとうございます。私たちは、製品をできるだけスムーズにご利用いただけるよう、さまざまなサポートを提供しています。お好みやニーズに応じて選択いただけるよう、複数のコミュニケーションチャネルを用意しています。

Loading Comments...