机器人控制与具身智能
六轴桌面机械臂加多模态感知，实现 主从遥操到3D空间精准抓取 与具身智能开发。
Core Hardware / 核心硬件
- ARM reBot DevArm B601-RS 六轴从动执行臂 · 含电动夹爪与总线舵机
- MASTER Star Arm 102 主控示教臂 · 1:1主从遥操 · 兼容LeRobot
- EDGE reComputer Super J4012 Jetson Orin NX 16GB · 控制中枢与推理主机
- DEPTH 奥比中光Gemini 2 RGB-D深度相机 · 3D空间坐标定位
- ESTOP 工业级独立急停按钮 常闭硬件回路 · 硬切动力电 · 不接软件
这个模块解决什么
面向农产品外观分拣、轻量自动化产线辅助上下料、展厅展位迎宾演示与辅助作业工位等场景，传统机械臂教学从运动学推导与电机控制讲起，应用侧人员上手周期长。大语言模型多局限于文本生成，缺乏接入物理执行机构的标准路径；从零搭建分拣/搬运演示需联调视觉识别、运动规划与抓取时序，多系统集成难度大；新手操作带动力机械臂，存在碰撞、误入工作空间等物理安全风险。
- 难度
- 入门
- 时长
- L1 1天 / L2 2–3天 / L3 3–5天
- 最短形态
- 1 天（体验课 · L1）
- 排课形态
- 3 层：体验 / 实战 / 交付
- 核心执行器
- reBot DevArm B601-RS 六轴机械臂
- 核心工具链
- SenseCraft Robotics / Pinocchio / Motorbridge SDK / LeRobot
L1无（零基础，具备基本电脑操作技能）；L2掌握基础网络配置与系统联动概念；L3具备基础Python编程与Linux技能
典型应用场景
KEY CAPABILITIES /
- 机械臂选型与商业取舍判断
- 硬件急停与工作空间安全规范操作
- 主从臂遥操与语音指令控制
- 多动作流程编排与安全确认机制配置
- 工位视觉事件触发与微场景联调
- RGB-D深度相机3D定位与手眼对齐
- Pinocchio逆运动学求解与异常处理
- Motorbridge驱动真机空间抓取闭环
- 遥操动作数据集采集（LeRobot标准）
- VLA具身大模型与Isaac Sim数字孪生初探
学习所需硬件
本课程以「六轴桌面机械臂 + 多模态感知 + 边缘算力」为核心教具，覆盖遥操到3D抓取全链路。
reBot DevArm B601-RS机械臂（100019336）
6+1自由度开源从动机械臂成品，含电动夹爪与总线舵机
受控从臂，响应指令执行动作与抓取；48V/600W工业级开关电源（SKU 100054289）独立稳压供电，需使用6寸G字夹（SKU 100014192）物理紧固于实验台防止动作倾倒。
Star Arm 102主控示教臂（100004723）
6自由度模块化主控示教臂，兼容LeRobot
主控示教端，手动引导操作并驱动从臂实时镜像动作，实现1:1主从位姿镜像映射；12V/2A多国插脚电源适配器（SKU 100033211）独立供电，套件自带XT30公头线。
reComputer Super J4012（114110314）
Jetson Orin NX 16GB边缘算力主机
控制中枢，运行机械臂运动学解算、控制服务与大模型推理；出厂预装JetPack 6.2，需确认SenseCraft Robotics服务与Python（Pinocchio / Motorbridge SDK）运行环境就绪；19V/4.7A大功率电源适配器供电。
奥比中光Gemini 2 3D相机（101090144）
双目红外3D深度相机，Type-C接口
空间三维视觉引导，直接读取物体在空间中的三维物理坐标（X, Y, Z）实现空间闭环抓取；L3阶段需与机械臂基座坐标系完成手眼标定对齐，确保测出的坐标可被Pinocchio正确换算为关节角度。
ET-S231广角1080P USB摄像头（100035502）
工位图像采集端
用于机械臂工位物料到位检测、工序事件触发与具身数采视觉输入；配合双机位支架实现前视/俯视多角度采集，在结构化恒定光照环境中提供状态触发信号。
工业级独立急停按钮（100091373）
带常闭机械触点的大蘑菇头急停开关
安全闸门，串入动力电回路，拍下即刻硬切动力电；为独立硬件常闭回路，不接软件控制，置于操作者触手可及处。
另配双机位摄像头支架（100006505）、机械臂数据采集光控箱（100094392）、reSpeaker Flex语音套件（100005504 / 100099135）、屏幕、整体电源设计、路由器等通用配件。
Codecraft 帮你"敢做"，aily-blockly 帮你"做完"
M0 不用 Arduino IDE 手写 C++，而是采用矽递自研的双平台接力工具链。前半程零安装、5 分钟见效；后半程把作品搬回自己的电脑，变成能带走、能继续演进的工程。
SenseCraft Robotics + Master Arm
零代码动作编排 · 主从1:1镜像遥操 · 语音指令触发
- 开箱连接
- 主从遥操/语音指令
- 多动作流程编排与安全确认
Python + Pinocchio + Motorbridge SDK
逆运动学解算 · 真机空间抓取闭环 · 异常处理与安全退回
- 深度相机3D定位
- Pinocchio逆运动学求解
- Motorbridge驱动真机抓取
LeRobot + VLA + Isaac Sim
动作数据集标准 · 具身大模型 · 数字孪生仿真
- 遥操动作数据采集
- VLA模型原理理解
- Isaac Sim仿真验证
另需HTTP / MQTT消息通知（工位视觉事件触发与跨系统联动）、reSpeaker Flex语音套件（自然语言指令采集与播报）。
三阶递进：展示层 → 顾问层 → 设计层
选型认知、安全规范与开箱上手
遥操六轴机械臂，实时同步多自由度动作
- 理解工业机械臂分类（直角坐标滑台、SCARA、Delta、六轴关节）与速度/精度/负载/安全/成本的商业选型权衡
- 掌握机械臂物理工作空间边界、硬件急停使用与安全操作规程
- 掌握SenseCraft平台开箱连接，跑通主从遥操与语音指令夹取
场景剖析、空间直觉与多模态编排
自主识别目标并执行抓取，灵活应对位置变化
- 能向客户清晰阐述3D场景为什么需要六轴机械臂及其选型边界
- 掌握SenseCraft多动作流程编排与"生成 → 3D预览 → 人工确认 → 真机执行"安全确认机制
- 掌握基于工位视觉的事件触发与微场景搭建，连续3次稳定运行
3D空间抓取闭环与具身智能前瞻
定制专属场景应用，快速适配特定作业流程
- 使用RGB-D深度相机获取目标3D物理坐标，通过Python调用Pinocchio完成电机角度自动换算，利用Motorbridge驱动真机完成空间抓取与异常处理
- 掌握主从遥操动作数据集采集流程（LeRobot标准格式），理解VLA具身大模型与Isaac Sim数字孪生仿真基本原理
- 交付完整Python抓取工程源码、遥操数据集与方案设计文档
Curriculum / 15 个教学模块
模块顺序不变，切法由你定
选一种形态，看它覆盖哪些模块。完整版是同一门课的三种排法——内容、硬件、交付物完全一致，只是切法不同。
| 模块 / 产出 | 体验1天 | 实战2–3天 | 交付3–5天 | ||
|---|---|---|---|---|---|
| 01 | 课前准备与环境预检硬件台架清点、机械臂物理固定与上电自检、安全隔离区布置、控制中枢与网络预置、视觉采集套件与光控箱就绪 | — | 完整 | 完整 | 完整 |
| 02 | 机械臂选型与商业取舍常见形态（直角坐标/SCARA/Delta/六轴）、速度/精度/负载/安全/成本权衡、六轴通用首选逻辑 | — | 完整 | 完整 | 完整 |
| 03 | 实训安全第一课与急停演练工作空间边界划定、硬件急停物理断电原理与演练、防碰撞与慢速运行、开关机与安全复位规程 | 硬件急停按钮 | 完整 | 完整 | 完整 |
| 04 | SenseCraft开箱与主从遥操认识B601关节结构与接口、浏览器访问SenseCraft控制台、设备连接与基础点动、主从臂1:1镜像遥操与轨迹录制 | SenseCraft Robotics / Star Arm 102 | 完整 | 完整 | 完整 |
| 05 | 语音指令控制与夹取首验reSpeaker麦克风阵列接入、自然语言触发预设夹取动作、阶段交付：语音指令成功触发一次夹取 | reSpeaker Flex / SenseCraft | 完整 | 完整 | 完整 |
| 06 | 落地场景与节拍核算机械臂适用场景（轻量分拣/上下料/展位互动/定点巡检）、不适用边界（>1件/秒高速量产/超重负载）、工序节拍与产能估算 | — | 不含 | 完整 | 完整 |
| 07 | 3D空间直觉与六轴必要性气缸/传送带2D平面局限 vs 机械臂3D空间(X,Y,Z)+旋转姿态、3D界面理解伸展极限与奇异点死区 | SenseCraft 3D预览 | 不含 | 完整 | 完整 |
| 08 | 动作编排与安全确认机制多点位串联作业流程（移动→张爪→下降→夹紧→抬起→放置）、「生成→3D预览→人工确认→真机执行」确认闸门 | SenseCraft Robotics | 不含 | 完整 | 完整 |
| 09 | 工位视觉数据采集与事件联动光控箱恒定光照结构化环境、ET-S231摄像头工位图像采集、物料到位检测作为事件触发器、联动抓取流程、分组微场景搭建（连续3次稳定运行） | ET-S231 / 光控箱 / SenseCraft | 不含 | 完整 | 完整 |
| 10 | 深度相机3D定位与手眼对齐单目vs深度相机、RGB-D读取物体三维物理坐标(X,Y,Z)、相机坐标系到机械臂基座坐标系手眼标定 | 奥比中光Gemini 2 / Python | 不含 | 不含 | 完整 |
| 11 | Pinocchio逆运动学求解与异常处理Python调用Pinocchio工具库、输入目标坐标自动计算6关节角度、超出工作范围/解算失败异常报警与安全退回 | Python / Pinocchio | 不含 | 不含 | 完整 |
| 12 | Motorbridge真机驱动与端到端抓取闭环Python调用Motorbridge SDK驱动平滑运动与夹爪控制、整合全流程：深度相机检测→Pinocchio逆解→Motorbridge驱动抓取 | Python / Motorbridge SDK | 不含 | 不含 | 完整 |
| 13 | 遥操动作数据集采集（LeRobot）具身大模型数据采集逻辑、光控箱+双机位前视/俯视采集、主从遥操录制关节角度与视觉画面、LeRobot标准格式数据集 | Star Arm 102 / LeRobot / 双机位支架 | 不含 | 不含 | 精简 |
| 14 | VLA具身大模型与Isaac Sim仿真初探VLA模型输入文本+图像输出动作架构理解、Isaac Sim加载机械臂3D资产、虚拟物理碰撞与仿真控制、「先仿真后真机」开发思路 | VLA / Isaac Sim | 不含 | 不含 | 精简 |
| 15 | 方案复盘与交付总结各组方案演练与配置评审、异常与失败案例复盘、演示线与工业产线工程差距总结（重复定位精度/连续运行可靠性/工业节拍/安全认证）、源码文档配置归档 | — | 精简 | 完整 | 完整 |
● 完整◐ 精简— 不含●＋ 比完整版更深
coverage 键对应排课形态 ID（taster / workshop / bootcamp），值为 full（完整覆盖）/ part（精简覆盖）/ none（不含）/ plus（比完整版更深）。体验课（taster）聚焦 L1 选型认知、安全规范与SenseCraft开箱遥操，不含视觉联动与3D抓取开发；实战课（workshop）覆盖 L1+L2 完整场景剖析、动作编排与工位视觉事件触发；交付课（bootcamp）全覆盖 L1+L2+L3，含确定性3D空间抓取闭环与具身智能前沿探索。
先选层，再选排法
时间和目标决定选哪一层：要学生带走一个能继续演进的作品，选完整版；只有两天，选马拉松版；只有半天，两门体验课任选其一。
体验课
无 FP1 天 · 6–8h · L1 展示层 · 聚焦选型认知、安全规范与SenseCraft开箱遥操
- Day 1 上午模块 01 + 02 + 03
环境预检 → 机械臂选型与商业取舍 → 实训安全第一课与急停演练
- Day 1 下午模块 04 + 05 + 15(精简)
SenseCraft开箱与主从遥操 → 语音指令夹取首验 → 总结复盘
体验课目标是「看得懂、能讲解、能演示」，跑出主从遥操与语音指令抓取的演示效果。不含工位视觉联动与3D空间抓取开发。
实战课
FP 完整2–3 天 · 14–20h · L1+L2 · 场景剖析 + 动作编排 + 工位视觉事件触发联动
- Day 1模块 01–05
环境预检 → 选型认知 → 安全急停 → SenseCraft遥操 → 语音夹取首验
- Day 2模块 06–09
落地场景与节拍核算 → 3D空间直觉 → 动作编排与安全确认 → 工位视觉事件联动
- Day 3（可选）模块 15
方案复盘与交付总结
实战课交付 1 套由工位视觉触发的微场景作业系统（连续 3 次稳定运行）。学员基础要求：掌握基础网络配置与系统联动概念。
交付课
FP 完整3–5 天 · 24–35h · L1+L2+L3 · 全覆盖含确定性3D空间抓取闭环与具身智能前沿探索
- Day 1–2模块 01–09
L1+L2 完整内容（选型安全 + 遥操语音 + 场景编排 + 视觉联动）
- Day 3模块 10–12
深度相机3D定位与手眼对齐 → Pinocchio逆运动学求解 → Motorbridge端到端抓取闭环
- Day 4模块 13–14
LeRobot遥操动作数据集采集 → VLA具身大模型与Isaac Sim仿真初探
- Day 5模块 15
方案复盘与交付归档
交付课目标是具备独立交付确定性3D空间抓取工程的能力。学员基础要求：具备基础Python编程与Linux技能，熟悉 L1–L2 能力。
体验课是方案演示与客户沟通的标配形态：零代码门槛、1天闭环、聚焦「机械臂能动、语音能控」。适合展会、技术开放日与客户初次接触场景。
实战课的 Day 3 为可选弹性日：若学员基础较好可压缩为 2 天（Day 2 下午合并复盘）；若需更多微场景联调时间则用满 3 天。
机械臂为带动力机构，实操过程中必须严格遵守安全规程，禁止将身体部位伸入机械臂运动包络区。急停按钮为独立硬件常闭回路，不接软件控制，置于操作者触手可及处。
reBot DevArm B601-RS使用48V/600W工业级开关电源供电，必须使用6寸G字夹物理紧固于实验台防止动作倾倒。上电前须由讲师确认接线与固定状态。
控制类场景严禁扩展到高压强电与安全制动系统。本课程不提供ISO 10218/TS 15066工业机器人安全认证背书，不替代法定工业安全认证。
体验课不包含工位视觉联动与3D空间抓取开发内容，请勿向客户承诺体验课学员能独立完成空间抓取——那是交付课的交付标准。
适合这些人学
这门课的价值不在机械臂本身，在「把物理执行接进数字系统」的方法
M6 不是一门教学生「调机械臂参数」的课，而是一门教团队如何用开源工具链和轻量硬件，把视觉感知、自然语言指令与物理执行机构打通的方法课。柴火交付的从来不只是「一次上课」，而是一整套可以被拆开、改写、重新组装的东西：15模块课程骨架、教师教案与PPT、SenseCraft动作配置模板、Python抓取工程源码、Pinocchio/Motorbridge调用示例、LeRobot数据集采集规范、设备清单与台架安全规范。
口子 01
换场景
模块 09「工位视觉事件触发与联动」的微场景是开放的：你的行业、你的客户现场、这座城市正在发生的一个真问题。分拣可以是农产品，可以是电子元件，可以是快递面单——问题越靠近真实现场，效果越好，而这件事你比我们懂。
口子 02
接设备
你已有的客户存量设备、学校实训台架上的传感器、合作方的视觉检测系统，可以接在模块 09 之后，成为事件触发练习的对象池。M6 负责把方法讲透，门后面接什么触发源，由你来定。
口子 03
加你的东西
你在行业里攒下的那些：机械臂选型踩过的坑、能让学员瞬间理解逆运动学的那个比喻、客户现场最常问的三个安全问题——那正是我们没有、也给不了的部分。
一门机器人课最好的归宿，不是被完整地执行一遍，而是被一位工程师改到面目全非，然后变成只有他能交付的那个方案。
能力边界与合规约束
核心原则
低速监督控制 + 独立硬件急停，不做安全关键系统替代。
适用范围
- 轻量分拣演示、展位互动、教学实训与低速监督控制场景
- 农产品与工业件外观分类抓取、物料移载与按序码放
- 语音/视觉交互迎宾、轨迹展示与定点巡检摆拍
- 基于RGB-D深度相机的确定性3D空间抓取工程开发
- 具身智能算法验证、LeRobot标准动作数据集采集与科研实训
不适用范围
- 控制类场景严禁扩展到高压强电与安全制动系统。
- 不提供ISO 10218/TS 15066工业机器人安全认证背书，本课程不替代法定工业安全认证。
- 急停为独立硬件常闭回路，不接软件控制，严禁通过软件指令替代硬件急停。
- 不覆盖高速工业节拍（>1件/秒）、高精度力控装配与7×24无人值守严苛工况
- 不包含微米级精密装配（如精密销孔插拔）与复杂柔性异形物料抓取
- 不承诺特定场景的具体抓取成功率（受光照条件、物体材质反光及摆放姿态影响，验收指标以现场实测记录为准）
- 机械臂含精密减速器，转场与收纳须使用定制减震箱固定位姿，避免运输冲击损坏关节齿轮