ロボット制御と身体化知能
6軸デスクトップロボットアームとマルチモーダルセンシングにより、マスタースレーブ遠隔操作から3D空間精密把持、身体化知能開発までを実現します。
農産物の外観選別、軽作業ラインの搬入・搬出補助、展示ブースでの案内デモ、補助作業ステーションなどの用途において、従来のロボットアーム教育は運動学の数式やモーター制御から教えるため、現場担当者の習得に時間がかかりました。大規模言語モデルもテキスト生成にとどまり、実世界の物理アクチュエーターを動かす標準的な手段が不足しています。また、選別や搬送デモを一から組むには画像認識・軌道計画・把持シーケンスを複数システム間で連携させる必要があり、難度が高いのが現状です。さらに動力を持つアームの不慣れな操作による衝突や可動域への立ち入りといった安全リスクも存在します。
- 難易度
- 初級
- 所要時間
- L1 1 日 / L2 2〜3 日 / L3 3〜5 日
- 最短形式
- 1日（体験講座 · L1）
- 授業形態
- 3層：体験 / 実践 / 納品
- コアアクチュエーター
- reBot DevArm B601-RS 6軸ロボットアーム
- コアツールチェーン
- SenseCraft Robotics / Pinocchio / Motorbridge SDK / LeRobot
- 方向
- AIプロダクト開発
- こんな方におすすめ
- ソリューションコンサルタントと営業 · 教育研究チームと実習講師 · ロボットと自動化エンジニアリング技術者 · 連携院校と官公庁・企業実習受講生
- 受講の前提
- L1は特になし（基礎ゼロ、基本的なPC操作スキルがあれば可）；L2は基礎的なネットワーク設定とシステム連携の概念を習得していること；L3は基礎的なPythonプログラミングとLinuxスキルがあること。
典型的な応用シーン
- 農産物と工業部品の外観選別：合格品、瑕疵品、疑義品の分類グラスピング
- 軽量自動化生産ライン補助：資材移載、ワークプッシュ、順序別積み付け
- 展示ブースと教育デモ：音声/ビジョンインタラクション来客応対、軌跡デモ
- 補助作業と自動化ステーション：定時定点巡回点検撮影、軽量協働グラスピング
- 研究と実習：身体化知能アルゴリズム検証、ロボット運動学教育実験
3段階の深さと、それぞれの到達点
- L1 デモレベル 1 日間
選定認知、安全規範、開箱セットアップ
6軸ロボットアームを遠隔操作し、多自由度動作をリアルタイムで同期する
- 産業用ロボットアームの分類（直交座標スライダ、SCARA、デルタ、6軸多関節）と速度・精度・可搬重量・安全性・導入費用の選定バランスを理解
- ロボットアームの物理的作業空間境界、ハードウェア非常停止の使用、安全操作手順を習得する
- SenseCraft プラットフォームの開梱初期接続を習得し、マスタースレーブ遠隔操作と音声コマンドによる把持を完遂
- L2 コンサルタントレベル 3 日間
シーン分析、空間直感、マルチモーダルオーケストレーション
複数ステップの動作を編成し、ビジョンのイベントで把持を起動する
- 3D 空間タスクにおいて 6 軸ロボットアームが選ばれる理由と適合境界をクライアントへ明確に説明
- SenseCraft の複数アクションフロー作成および「生成 → 3Dプレビュー → 目視確認 → 実機実行」の安全確認ゲートを習得
- ワークステーション視覚によるイベントトリガーと小規模作業セルの構築を習得し、3 回連続の安定稼働を達成
- L3 設計レベル 5 日間
3D 空間把持エンドツーエンド工程と身体化知能の展望
深度カメラで3D座標を取得し、Pythonで実機を動かして把持する
- RGB-D 深度カメラで対象の 3D 空間座標を取得し、Python で Pinocchio を呼び出して関節角度へ逆算、Motorbridge で実機アームを駆動して把持と例外処理を完結
- マスタースレーブ遠隔操作による動作データ収集（LeRobot 規格準拠）を習得し、VLA 身体化大モデルおよび Isaac Sim シミュレーションの基礎原理を理解
- 完全な Python 把持プロジェクトソースコード、遠隔操作データセット、および設計仕様書一式を納品
修了後にできること
- ロボットアーム選定とビジネストレードオフ判断
- ハードウェア非常停止と作業空間安全規範操作
- マスタースレーブアームテレオペレーションと音声コマンド制御
- マルチアクションフローオーケストレーションと安全確認メカニズム設定
- ステーションビジョンイベントトリガーとマイクロシーン連携調整
- RGB-D 深度カメラによる 3D 位置決めと手眼キャリブレーション
- Pinocchio 逆運動学ソルバーおよび例外処理
- Motorbridge による実機空間把持シーケンス駆動
- 遠隔操作動作データセット収集（LeRobot 規格準拠）
- VLA 身体化基底モデルおよび Isaac Sim デジタルツイン概論
機器とツールチェーン
本講座は「6軸デスクトップロボットアーム + マルチモーダルセンシング + エッジコンピューティング」を中核教材とし、テレオペレーションから3Dグラスピングまでの全工程をカバーします。
- ARM reBot DevArm B601-RS 6軸従動実行アーム · 電動グリッパーとバスサーボを含む
- MASTER Star Arm 102 マスターティーチングアーム · 1:1マスタースレーブテレオペレーション · LeRobot互換
- EDGE reComputer Super J4012 Jetson Orin NX 16GB · 制御中枢と推論ホスト
- DEPTH Orbbec Gemini 2 RGB-D深度カメラ · 3D空間座標測位
- ESTOP 産業グレード独立非常停止ボタン 常閉ハードウェア回路 · 動力電源ハードウェア遮断 · ソフトウェア非接続
機器6点の写真付きリスト
-
reBot DevArm B601-RSロボットアーム（100019336）
6+1自由度オープンソース従動ロボットアーム完成品、電動グリッパーとバスサーボを含む
コマンドに応じて動作・把持を実行するスレーブアーム。48V/600Wの産業用安定化電源で駆動し、転倒防止のため6インチGクランプで実習台に固定必須。
-
Star Arm 102マスターティーチングアーム（100004723）
6自由度モジュラーマスターティーチングアーム、LeRobot互換
手動ティーチングおよびスレーブアームへの1:1リアルタイム姿勢ミラーリングを行うマスタアーム。12V/2Aマルチプラグ電源アダプターで駆動、XT30オス端子ケーブル付属。
-
reComputer Super J4012（114110314）
Jetson Orin NX 16GBエッジコンピューティングホスト
制御中枢で、ロボットアーム運動学ソルバー、制御サービス、大規模モデル推論を実行します；出荷時にJetPack 6.2をプリインストール、SenseCraft RoboticsサービスとPython（Pinocchio / Motorbridge SDK）の実行環境が整っていることを確認する必要があります；19V/4.7A大電力電源アダプター給電です。
-
Orbbec Gemini 2 3Dカメラ（101090144）
ステレオ赤外線3D深度カメラ、Type-Cインターフェース
空間3Dビジョンガイダンスで、空間内の物体の3D物理座標（X, Y, Z）を直接読み取り、空間クローズドループグラスピングを実現します；L3段階ではロボットアームベース座標系とのハンドアイキャリブレーションアライメントを完了し、測定された座標がPinocchioによって関節角度に正しく換算されることを確保する必要があります。
-
ET-S231広角1080P USBカメラ（100035502）
ステーション画像収集端末
ロボットアームステーションの資材到位検出、工程イベントトリガー、身体化データ収集ビジョン入力に使用します；デュアルカメラブラケットと組み合わせて前視/俯視の多角度収集を実現し、構造化された一定光照環境で状態トリガー信号を提供します。
-
産業グレード独立非常停止ボタン（100091373）
常閉機械接点付き大型マッシュルームヘッド非常停止スイッチ
安全ゲートで、動力電源回路に直列に挿入し、押すと即座に動力電源をハードウェア的に遮断します；独立したハードウェア常閉回路でソフトウェア制御には接続されず、操作者の手の届く場所に設置します。
別途、デュアルカメラブラケット（100006505）、ロボットアームデータ収集ライトボックス（100094392）、reSpeaker Flex音声キット（100005504 / 100099135）、画面、電源一式、ルーターなどの汎用アクセサリーが必要です。
ノーコード遠隔操作から決定論的な工程グラスピングへ
SenseCraft Roboticsが開箱の遠隔操作デモを担い、Python + Pinocchio + Motorbridgeが実機の空間グラスピングを実現、LeRobotとIsaac Simが身体化知能とシミュレーション検証を補完します。
-
SenseCraft Robotics + Master Arm
ノーコードアクションオーケストレーション · マスタースレーブ1:1ミラーリングテレオペレーション · 音声コマンドトリガー
- 開箱接続
- マスタースレーブテレオペレーション/音声コマンド
- マルチアクションフローオーケストレーションと安全確認
-
Python + Pinocchio + Motorbridge SDK
逆運動学ソルバー · 実機空間グラスピングクローズドループ · 異常処理と安全退避
- 深度カメラ3D測位
- Pinocchio逆運動学ソルバー
- Motorbridgeによる実機グラスピング駆動
-
LeRobot + VLA + Isaac Sim
動作データセット標準 · 身体化大規模モデル · デジタルツインシミュレーション
- テレオペレーション動作データ収集
- VLAモデル原理の理解
- Isaac Simシミュレーション検証
重要な転換点 · ノーコードテレオペレーションデモから決定論的エンジニアリンググラスピングまで SenseCraft により導入のハードルを下げ、受講生は初日からマスタースレーブ遠隔操作や音声コマンドによる把持を動かすことができます。さらに Python・Pinocchio・Motorbridge を組み合わせることで、確定的な 3D 空間把持の工学的能力を獲得し、展示デモから現場納品可能な工学ソリューションへと引き上げます。
別途HTTP / MQTTメッセージ通知（ステーションビジョンイベントトリガーとシステム間連携）、reSpeaker Flex音声キット（自然言語コマンド収集と読み上げ）が必要です。
シラバスと開講形態
教育ユニットは全15個。まず開講形態を示し、シラバス全体は下で展開できます。
体験講座
最終プロジェクトなし1日 · 6〜8時間 · L1 デモレベル · 選定認知、安全規範、SenseCraft開箱テレオペレーションに焦点
実践講座
最終プロジェクトあり2〜3日 · 14〜20時間 · L1+L2 · シーン分析 + アクションオーケストレーション + ステーションビジョンイベントトリガー連携
納品講座
最終プロジェクトあり3〜5日 · 24〜35時間 · L1+L2+L3 · 決定論的3D空間グラスピングクローズドループと身体化知能最前線探究を含む完全網羅
ロボットアームは動力付き機構であり、実習中は安全手順を厳格に遵守し、身体部位をロボットアームの運動包絡領域に入れることを禁止します。非常停止ボタンは独立したハードウェア常閉回路でソフトウェア制御には接続されず、操作者の手の届く場所に設置します。
reBot DevArm B601-RSは48V/600W産業グレードスイッチング電源で給電し、6インチGクランプで実験台に物理的に固定して動作時の転倒を防止する必要があります。通電前には講師が配線と固定状態を確認しなければなりません。
制御系シーンは高圧強電と安全制動システムへの拡張を厳禁します。本講座はISO 10218/TS 15066産業用ロボット安全認証のバックアップを提供せず、法定の産業安全認証を代替するものではありません。
体験講座にはステーションビジョン連携と3D空間グラスピング開発内容は含まれません。体験講座の受講生が独立して空間グラスピングを完了できると顧客に約束しないでください——それは納品講座の納品基準です。
授業の一例 · 01
授業前準備と環境事前チェック
ハードウェアラックの清点、ロボットアームの物理固定と通電自己診断、安全隔離エリアの配置、制御中枢とネットワークのプリセット、ビジョン収集キットとライトボックスの準備完了
—
全15ユニットのシラバスと形態別の日程を表示
| モジュール / 成果物 | 体験1日 | 実践2〜3日 | 納品3〜5日 | ||
|---|---|---|---|---|---|
| 01 | 授業前準備と環境事前チェックハードウェアラックの清点、ロボットアームの物理固定と通電自己診断、安全隔離エリアの配置、制御中枢とネットワークのプリセット、ビジョン収集キットとライトボックスの準備完了 | — | 完全 | 完全 | 完全 |
| 02 | ロボットアーム選定とビジネストレードオフ一般的な形態（直交座標/SCARA/Delta/6軸）、速度/精度/可搬質量/安全/コストのトレードオフ、6軸が汎用的に首选択されるロジック | — | 完全 | 完全 | 完全 |
| 03 | 実習安全第一課と非常停止演習作業空間境界の画定、ハードウェア非常停止の物理的遮断原理と演習、衝突防止と低速運転、起動/停止と安全リセット手順 | ハードウェア非常停止ボタン | 完全 | 完全 | 完全 |
| 04 | SenseCraft開箱とマスタースレーブテレオペレーションB601関節構造とインターフェースの理解、ブラウザからSenseCraftコンソールへのアクセス、デバイス接続と基礎ジョグ運転、マスタースレーブアーム1:1ミラーリングテレオペレーションと軌跡録画 | SenseCraft Robotics / Star Arm 102 | 完全 | 完全 | 完全 |
| 05 | 音声コマンド制御とグラスピング初体験reSpeakerマイクアレイの接続、自然言語によるプリセットグラスピング動作のトリガー、段階的納品：音声コマンドでグラスピングを1回成功裏にトリガー | reSpeaker Flex / SenseCraft | 完全 | 完全 | 完全 |
| 06 | 導入シーンとタクト計算ロボットアーム適用シーン（軽量選別/上下材/ブースインタラクション/定点巡回点検）、不適用境界（>1件/秒の高速量産/超過負荷）、工程タクトと生産性見積もり | — | なし | 完全 | 完全 |
| 07 | 3D空間直感と6軸の必要性エアシリンダー/ベルトコンベアの2D平面の限界 vs ロボットアームの3D空間(X,Y,Z)+回転姿勢、3Dインターフェースでの伸展限界と特異点デッドゾーンの理解 | SenseCraft 3Dプレビュー | なし | 完全 | 完全 |
| 08 | アクションオーケストレーションと安全確認メカニズム多ポイント直列作業フロー（移動→グリッパーオープン→下降→把持→上昇→配置）、「生成→3Dプレビュー→人間確認→実機実行」確認ゲート | SenseCraft Robotics | なし | 完全 | 完全 |
| 09 | ステーションビジョンデータ収集とイベント連携ライトボックスによる一定光照の構造化環境、ET-S231カメラによるステーション画像収集、資材到位検出をイベントトリガーとしたグラスピングフロー連携、グループ別マイクロシーン構築（連続3回安定稼働） | ET-S231 / ライトボックス / SenseCraft | なし | 完全 | 完全 |
| 10 | 深度カメラ3D測位とハンドアイキャリブレーション単眼vs深度カメラ、RGB-Dによる物体の3D物理座標(X,Y,Z)の読み取り、カメラ座標系からロボットアームベース座標系へのハンドアイキャリブレーション | Orbbec Gemini 2 / Python | なし | なし | 完全 |
| 11 | Pinocchio 逆運動学ソルバーおよび例外処理PythonでPinocchioツールライブラリを呼び出し、目標座標を入力して6関節角度を自動計算、作業範囲超過/ソルバー失敗の異常アラームと安全退避 | Python / Pinocchio | なし | なし | 完全 |
| 12 | Motorbridge実機駆動とエンドツーエンドグラスピングクローズドループPythonでMotorbridge SDKを呼び出して平滑な運動とグリッパー制御を駆動し、全フローを統合：深度カメラ検出→Pinocchio逆運動学ソルバー→Motorbridge駆動グラスピング | Python / Motorbridge SDK | なし | なし | 完全 |
| 13 | テレオペレーション動作データセット収集（LeRobot）身体化大規模モデルのデータ収集ロジック、ライトボックス+デュアルカメラによる前視/俯視収集、マスタースレーブテレオペレーションでの関節角度とビジョン映像の録画、LeRobot標準フォーマットのデータセット | Star Arm 102 / LeRobot / デュアルカメラブラケット | なし | なし | 簡略 |
| 14 | VLA身体化大規模モデルとIsaac Simシミュレーション初歩探究VLAモデルのテキスト+画像入力から動作出力までのアーキテクチャ理解、Isaac Simでのロボットアーム3Dアセット読み込み、仮想物理衝突とシミュレーション制御、「先にシミュレーション、後に実機」という開発アプローチ | VLA / Isaac Sim | なし | なし | 簡略 |
| 15 | ソリューションレビューと納品総括各グループのソリューション演習と設定レビュー、異常と失敗ケースの振り返り、デモラインと産業ラインのエンジニアリングギャップ総括（繰り返し位置決め精度/連続運用信頼性/産業タクト/安全認証）、ソースコード・ドキュメント・設定のアーカイブ | — | 簡略 | 完全 | 完全 |
● 完全◐ 簡略— なし●＋ 完全版より深い
体験講座（taster）はL1の選定認知、安全規範、SenseCraft開箱テレオペレーションに焦点を当て、ビジョン連携と3Dグラスピング開発は含みません；実践講座（workshop）はL1+L2の完全なシーン分析、アクションオーケストレーション、ステーションビジョンイベントトリガーをカバーします；納品講座（bootcamp）はL1+L2+L3を完全網羅し、決定論的3D空間グラスピングクローズドループと身体化知能最前線探究を含みます。
体験講座
- Day 1 午前モジュール 01 + 02 + 03
環境事前チェック → ロボットアーム選定とビジネストレードオフ → 実習安全第一課と非常停止演習
- Day 1 午後モジュール 04 + 05 + 15(簡易版)
SenseCraft開箱とマスタースレーブテレオペレーション → 音声コマンドグラスピング初体験 → 総括レビュー
ステーションビジョン連携と3D空間グラスピング開発は含みません。
実践講座
- Day 1モジュール 01–05
環境事前チェック → 選定認知 → 安全非常停止 → SenseCraftテレオペレーション → 音声グラスピング初体験
- Day 2モジュール 06–09
導入シーンとタクト計算 → 3D空間直感 → アクションオーケストレーションと安全確認 → ステーションビジョンイベント連携
- Day 3（任意）モジュール 15
ソリューションレビューと納品総括
実践講座では、ステーションビジョンでトリガーされるマイクロシーン作業システムを1セット納品します（連続3回安定稼働）。受講生の基礎要件：基礎的なネットワーク設定とシステム連携の概念を習得していること。
納品講座
- Day 1–2モジュール 01–09
L1+L2 完全内容（選定安全 + テレオペレーション音声 + シーンオーケストレーション + ビジョン連携）
- Day 3モジュール 10–12
深度カメラ3D測位とハンドアイキャリブレーション → Pinocchio逆運動学ソルバー → Motorbridgeエンドツーエンドグラスピングクローズドループ
- Day 4モジュール 13–14
LeRobotテレオペレーション動作データセット収集 → VLA身体化大規模モデルとIsaac Simシミュレーション初歩探究
- Day 5モジュール 15
ソリューションレビューと納品アーカイブ
納品講座の目標は、決定論的3D空間グラスピングエンジニアリングを独立して納品する能力を備えることです。受講生の基礎要件：基礎的なPythonプログラミングとLinuxスキルを備え、L1〜L2の能力に習熟していること。
体験講座は1日で完結し、プログラミングは不要で、「アームが動き、音声で操作できる」ところまでを扱います。展示会、技術オープンデー、お客様との初回接点に向いています。
実践講座のDay 3は任意の弾力的な日です：受講生の基礎が良好な場合は2日に圧縮可能（Day 2午後にレビューを統合）；より多くのマイクロシーン連携調整時間が必要な場合は3日間を使い切ります。
修了時に得られるもの
以下はフルバージョン（納品講座）の納品物です；実践講座は上位3項目を納品；体験講座は第1、2項目の簡易版を納品します。
- 01
ロボットアーム作業空間レイアウトと安全操作記録
物理隔離エリア画定図、非常停止常閉回路配線確認、Gクランプ固定検査記録、起動/停止と安全リセット手順の実行記録を含みます。
- 02
SenseCraft アクションフロー設定およびワークステーション視覚連動デモシステム
マルチアクションフローオーケストレーション設定、「生成→3Dプレビュー→人間確認→実機実行」安全確認メカニズム設定、ステーションビジョンイベントトリガー連携フロー、マイクロシーンシステムの連続3回運転検証記録を含みます。
- 03
3D空間自動グラスピングPythonプロジェクトソースコード
深度カメラ3D座標読み取りモジュール、Pinocchio逆運動学ソルバーと異常処理、Motorbridge SDK実機駆動とグリッパー制御、エンドツーエンドグラスピングクローズドループメインプログラム（L3）を含みます。
- 04
テレオペレーション動作データセットサンプルとソリューション設計納品ドキュメント
LeRobot標準フォーマットの動作データセット（関節角度+デュアルカメラビジョン映像）、ハンドアイキャリブレーションパラメータ記録、ソリューション設計説明と納品検収記録（L3）を含みます。
- 05
ロボットアーム選定とシーンタクト評価レポート
目標シーン形態マッチング分析、速度/精度/可搬質量/安全/コストの選定トレードオフ、工程タクトと生産性見積もり、適用/不適用境界の判定を含みます。
- 06
ハードウェアラック一覧とデプロイ運用保守ガイド
19点の機材調達・部品明細リスト、テストベンチ配線トポロジー図、SenseCraft/Pinocchio/Motorbridge環境構築手順書、日常点検・保管管理規範を収録。
修了後に再現できるオープンソースプロジェクト
これらのプロジェクトは講座と同じハードウェアと手法を使っており、授業で得た知見もプロジェクトへ反映しています。
音声操作の把持アーム
"Hey Jarvis, grab the water bottle" と話しかけると、reBot B601-DM アームが手首の RGB-D カメラで対象を見つけ、約 11 秒で把持します。箱、ボトル、バナナ、カップ、オレンジを把持でき、音声処理はすべて Jetson Orin NX 上でローカルに動作します。
音声操作の SO-ARM アーム
自然言語の指示で SO-ARM101 6 自由度アームを操作します。音声認識・音声合成・LLM はすべて Jetson Orin NX 上でローカルに動作し、HTTP エンドポイントから関節のリアルタイム状態を取得できます。
視覚誘導と運動学アルゴリズムをロボットアームの実物把持へ落とし込む
M6 は視覚誘導、運動学アルゴリズム、ロボットアーム実行機構の連携を中心に展開。ノーコードのマスタースレーブ遠隔操作から始め、Python による逆運動学プログラミングや身体化知能データセット収集へと段階的に進み、講師向けに万全の安全規程と参考プロジェクトコードを提供します。
拡張ポイント 01
現場の条件に合わせる
ユニット09ではワークの選別タスクを柔軟に変更できます。電子部品、農産物模型、異形パーツなどに置き換え、材質や把持姿勢に応じたグリッパ制御戦略の設計を指導できます。
拡張ポイント 02
手持ちの計器を接続する
ワークセルは上流の光電センサーやM4の物体検知イベントと容易に連動でき、外部信号に応じてピッキング動作を自動トリガーする統合制御を体験できます。
拡張ポイント 03
実践知の融合
非常停止回路の結線、原点キャリブレーションのオフセット補正、モーター過負荷保護といった安全管理を講師が徹底することが、受講生が実機実習を安全に進めるための基盤となります。
能力範囲とコンプライアンス
低速監督制御 + 独立ハードウェア非常停止、安全クリティカルシステムの代替は行いません。
適用範囲
- 軽量選別デモ、ブースインタラクション、教育実習と低速監督制御シーン
- 農産物と工業部品の外観分類グラスピング、資材移載と順序別積み付け
- 音声/ビジョンインタラクション来客応対、軌跡デモと定点巡回点検撮影
- RGB-D深度カメラに基づく決定論的3D空間グラスピングエンジニアリング開発
- 身体化知能アルゴリズム検証、LeRobot標準動作データセット収集と科研実習
不適用範囲
- 制御系シーンは高圧強電と安全制動システムへの拡張を厳禁します。
- ISO 10218/TS 15066産業用ロボット安全認証のバックアップは提供せず、本講座は法定の産業安全認証を代替するものではありません。
- 非常停止は独立したハードウェア常閉回路で、ソフトウェア制御には接続されず、ソフトウェアコマンドによるハードウェア非常停止の代替を厳禁します。
- 高速産業タクト（>1件/秒）、高精度力制御組立、7×24無人運用の過酷な条件はカバーしません
- ミクロン級精密組立（精密ピン穴の挿抜など）と複雑な柔軟異形資材のグラスピングは含みません
- 特定シーンにおける具体的なグラスピング成功率を保証しません（光照条件、物体素材の反射、配置姿勢に影響され、検収指標は現場実測記録を基準とします）
- ロボットアームには精密減速機が含まれ、移動と収納時にはカスタム防振ケースで姿勢を固定し、輸送時の衝撃による関節ギアの損傷を回避する必要があります