返回学习矩阵
M6

机器人控制与具身智能

六轴桌面机械臂加多模态感知，实现主从遥操到3D空间精准抓取与具身智能开发。

面向农产品外观分拣、轻量自动化产线辅助上下料、展厅展位迎宾演示与辅助作业工位等场景，传统机械臂教学多从运动学推导与电机控制讲起，应用侧人员上手周期长。大语言模型多局限于文本生成，缺乏接入物理执行机构的标准路径；从零搭建分拣与搬运演示需联调视觉识别、运动规划与抓取时序，多系统集成难度大；新手操作带动力机械臂，存在碰撞、误入工作空间等物理安全风险。

合作咨询
reBot DevArm B601-RS机械臂
难度
入门
时长
L1 1 天 / L2 2–3 天 / L3 3–5 天
最短形态
1 天（体验课 · L1）
排课形态
3 层：体验 / 实战 / 交付
核心执行器
reBot DevArm B601-RS 六轴机械臂
核心工具链
SenseCraft Robotics / Pinocchio / Motorbridge SDK / LeRobot
所属方向
造 AI 的物
适合这些人学
方案顾问与商务销售 · 教研团队与实训讲师 · 机器人与自动化工程技术人员 · 合作院校与政企实训学员
学员基础
L1无（零基础，具备基本电脑操作技能）；L2掌握基础网络配置与系统联动概念；L3具备基础Python编程与Linux技能

典型应用场景

  • 农产品与工业件外观分拣：合格品、瑕疵品与疑似品分类抓取
  • 轻量自动化产线辅助：物料移载、工件推送、按序码放
  • 展厅展位与教学演示：语音/视觉交互迎宾、轨迹展示
  • 辅助作业与自动化工位：定时定点巡检摆拍、轻量协作抓取
  • 科研与实训：具身智能算法验证、机器人运动学教学实验

三档深度，各学到哪一步

  1. L1 展示层 1 天

    选型认知、安全规范与开箱上手

    遥操六轴机械臂，实时同步多自由度动作

    • 理解工业机械臂分类（直角坐标滑台、SCARA、Delta、六轴关节）与速度 / 精度 / 负载 / 安全 / 成本的商业选型权衡
    • 掌握机械臂物理工作空间边界、硬件急停使用与安全操作规程
    • 掌握 SenseCraft 平台开箱连接，跑通主从遥操与语音指令夹取
  2. L2 顾问层 3 天

    场景剖析、空间直觉与多模态编排

    编排多步动作，按视觉事件触发抓取

    • 能向客户清晰阐述 3D 场景为什么需要六轴机械臂及其选型边界
    • 掌握 SenseCraft 多动作流程编排与「生成 → 3D 预览 → 人工确认 → 真机执行」安全确认机制
    • 掌握基于工位视觉的事件触发与微场景搭建，连续 3 次稳定运行
  3. L3 设计层 5 天

    3D 空间抓取全流程与具身智能前瞻

    用深度相机取 3D 坐标，Python 驱动真机抓取

    • 使用 RGB-D 深度相机获取目标 3D 物理坐标，通过 Python 调用 Pinocchio 完成电机角度自动换算，利用 Motorbridge 驱动真机完成空间抓取与异常处理
    • 掌握主从遥操动作数据集采集流程（LeRobot 标准格式），理解 VLA 具身大模型与 Isaac Sim 数字孪生仿真基本原理
    • 交付完整 Python 抓取工程源码、遥操数据集与方案设计文档

学完能做的事

  • 机械臂选型与商业取舍判断
  • 硬件急停与工作空间安全规范操作
  • 主从臂遥操与语音指令控制
  • 多动作流程编排与安全确认机制配置
  • 工位视觉事件触发与微场景联调
  • RGB-D 深度相机 3D 定位与手眼对齐
  • Pinocchio逆运动学求解与异常处理
  • Motorbridge 驱动真机空间抓取流程
  • 遥操动作数据集采集（LeRobot 标准）
  • VLA 具身大模型与 Isaac Sim 数字孪生初探

设备与工具链

本课程以「六轴桌面机械臂 + 多模态感知 + 边缘算力」为核心教具，覆盖从遥操到 3D 抓取的整条流程。

  • ARM reBot DevArm B601-RS 六轴从动执行臂 · 含电动夹爪与总线舵机
  • MASTER Star Arm 102 主控示教臂 · 1:1主从遥操 · 兼容LeRobot
  • EDGE reComputer Super J4012 Jetson Orin NX 16GB · 控制中枢与推理主机
  • DEPTH 奥比中光Gemini 2 RGB-D深度相机 · 3D空间坐标定位
  • ESTOP 工业级独立急停按钮 常闭硬件回路 · 硬切动力电 · 不接软件
6 件设备的图文清单
  • reBot DevArm B601-RS机械臂

    reBot DevArm B601-RS机械臂（100019336）

    6+1自由度开源从动机械臂成品，含电动夹爪与总线舵机

    受控从臂，响应指令执行动作与抓取；配 48V/600W 工业级开关电源独立稳压供电，需使用 6 寸 G 字夹物理紧固于实验台防止动作倾倒。

  • Star Arm 102主控示教臂

    Star Arm 102主控示教臂（100004723）

    6自由度模块化主控示教臂，兼容LeRobot

    主控示教端，手动引导操作并驱动从臂实时镜像动作，实现 1:1 主从位姿镜像映射；配备 12V/2A 多国插脚电源适配器独立供电，套件自带 XT30 公头线。

  • reComputer Super J4012

    reComputer Super J4012（114110314）

    Jetson Orin NX 16GB边缘算力主机

    控制中枢，运行机械臂运动学解算、控制服务与大模型推理；出厂预装JetPack 6.2，需确认SenseCraft Robotics服务与Python（Pinocchio / Motorbridge SDK）运行环境就绪；19V/4.7A大功率电源适配器供电。

  • 奥比中光Gemini 2 3D相机

    奥比中光Gemini 2 3D相机（101090144）

    双目红外3D深度相机，Type-C接口

    空间三维视觉引导，直接读取物体在空间中的三维物理坐标（X, Y, Z）实现真机空间精准抓取；L3阶段需与机械臂基座坐标系完成手眼标定对齐，确保测出的坐标可被Pinocchio正确换算为关节角度。

  • ET-S231广角1080P USB摄像头

    ET-S231广角1080P USB摄像头（100035502）

    工位图像采集端

    用于机械臂工位物料到位检测、工序事件触发与具身数采视觉输入；配合双机位支架实现前视/俯视多角度采集，在结构化恒定光照环境中提供状态触发信号。

  • 工业级独立急停按钮

    工业级独立急停按钮（100091373）

    带常闭机械触点的大蘑菇头急停开关

    安全闸门，串入动力电回路，拍下即刻硬切动力电；为独立硬件常闭回路，不接软件控制，置于操作者触手可及处。

另配双机位摄像头支架（100006505）、机械臂数据采集光控箱（100094392）、reSpeaker Flex语音套件（100005504 / 100099135）、屏幕、整体电源设计、路由器等通用配件。

从零代码遥操到确定性工程抓取

SenseCraft Robotics 完成开箱遥操演示，Python + Pinocchio + Motorbridge 实现真机空间抓取，LeRobot 与 Isaac Sim 补齐具身智能与仿真验证。

  1. SenseCraft Robotics + Master Arm

    零代码动作编排 · 主从1:1镜像遥操 · 语音指令触发

    1. 开箱连接
    2. 主从遥操/语音指令
    3. 多动作流程编排与安全确认

  2. Python + Pinocchio + Motorbridge SDK

    逆运动学解算 · 真机空间抓取全流程 · 异常处理与安全退回

    1. 深度相机3D定位
    2. Pinocchio逆运动学求解
    3. Motorbridge驱动真机抓取

  3. LeRobot + VLA + Isaac Sim

    动作数据集标准 · 具身大模型 · 数字孪生仿真

    1. 遥操动作数据采集
    2. VLA模型原理理解
    3. Isaac Sim仿真验证

关键转折点 · 从零代码遥操演示到确定性工程抓取 SenseCraft 降低了上手门槛，让学员在第一天就能跑通主从遥操与语音指令夹取；而 Python、Pinocchio 与 Motorbridge 的组合，则让系统具备确定性 3D 空间抓取的工程能力，从舞台演示走向实际工程交付。

另需HTTP / MQTT消息通知（工位视觉事件触发与跨系统联动）、reSpeaker Flex语音套件（自然语言指令采集与播报）。

大纲与排课

共 15 个教学模块。先看有哪几种排课形态，完整大纲在下面展开。

  • 体验课

    不含结课项目

    1 天 · 6–8h · L1 展示层 · 聚焦选型认知、安全规范与SenseCraft开箱遥操

  • 实战课

    含结课项目

    2–3 天 · 14–20h · L1+L2 · 场景剖析 + 动作编排 + 工位视觉事件触发联动

  • 交付课

    含结课项目

    3–5 天 · 24–35h · L1+L2+L3 · 全覆盖含确定性3D空间精准抓取与具身智能前沿探索

机械臂为带动力机构，实操过程中必须严格遵守安全规程，禁止将身体部位伸入机械臂运动包络区。急停按钮为独立硬件常闭回路，不接软件控制，置于操作者触手可及处。

reBot DevArm B601-RS使用48V/600W工业级开关电源供电，必须使用6寸G字夹物理紧固于实验台防止动作倾倒。上电前须由讲师确认接线与固定状态。

控制类场景严禁扩展到高压强电与安全制动系统。本课程不提供ISO 10218/TS 15066工业机器人安全认证背书，不替代法定工业安全认证。

体验课不包含工位视觉联动与3D空间抓取开发内容，请勿向客户承诺体验课学员能独立完成空间抓取——那是交付课的交付标准。

其中一节 · 01

课前准备与环境预检

硬件台架清点、机械臂物理固定与上电自检、安全隔离区布置、控制中枢与网络预置、视觉采集套件与光控箱就绪

—

展开 15 个教学模块的完整大纲与各形态日程
15个教学模块在各排课形态下的覆盖深度
模块 / 产出体验1天实战2–3天交付3–5天
01课前准备与环境预检硬件台架清点、机械臂物理固定与上电自检、安全隔离区布置、控制中枢与网络预置、视觉采集套件与光控箱就绪—完整完整完整
02机械臂选型与商业取舍常见形态（直角坐标/SCARA/Delta/六轴）、速度/精度/负载/安全/成本权衡、六轴通用首选逻辑—完整完整完整
03实训安全第一课与急停演练工作空间边界划定、硬件急停物理断电原理与演练、防碰撞与慢速运行、开关机与安全复位规程硬件急停按钮完整完整完整
04SenseCraft开箱与主从遥操认识B601关节结构与接口、浏览器访问SenseCraft控制台、设备连接与基础点动、主从臂1:1镜像遥操与轨迹录制SenseCraft Robotics / Star Arm 102完整完整完整
05语音指令控制与夹取首验reSpeaker麦克风阵列接入、自然语言触发预设夹取动作、阶段交付：语音指令成功触发一次夹取reSpeaker Flex / SenseCraft完整完整完整
06落地场景与节拍核算机械臂适用场景（轻量分拣/上下料/展位互动/定点巡检）、不适用边界（>1件/秒高速量产/超重负载）、工序节拍与产能估算—不含完整完整
073D空间直觉与六轴必要性气缸/传送带2D平面局限 vs 机械臂3D空间(X,Y,Z)+旋转姿态、3D界面理解伸展极限与奇异点死区SenseCraft 3D预览不含完整完整
08动作编排与安全确认机制多点位串联作业流程（移动→张爪→下降→夹紧→抬起→放置）、「生成→3D预览→人工确认→真机执行」确认闸门SenseCraft Robotics不含完整完整
09工位视觉数据采集与事件联动光控箱恒定光照结构化环境、ET-S231摄像头工位图像采集、物料到位检测作为事件触发器、联动抓取流程、分组微场景搭建（连续3次稳定运行）ET-S231 / 光控箱 / SenseCraft不含完整完整
10深度相机3D定位与手眼对齐单目vs深度相机、RGB-D读取物体三维物理坐标(X,Y,Z)、相机坐标系到机械臂基座坐标系手眼标定奥比中光Gemini 2 / Python不含不含完整
11Pinocchio逆运动学求解与异常处理Python调用Pinocchio工具库、输入目标坐标自动计算6关节角度、超出工作范围/解算失败异常报警与安全退回Python / Pinocchio不含不含完整
12Motorbridge真机驱动与端到端抓取流程Python调用Motorbridge SDK驱动平滑运动与夹爪控制、整合全流程：深度相机检测→Pinocchio逆解→Motorbridge驱动抓取Python / Motorbridge SDK不含不含完整
13遥操动作数据集采集（LeRobot）具身大模型数据采集逻辑、光控箱+双机位前视/俯视采集、主从遥操录制关节角度与视觉画面、LeRobot标准格式数据集Star Arm 102 / LeRobot / 双机位支架不含不含精简
14VLA具身大模型与Isaac Sim仿真初探VLA模型输入文本+图像输出动作架构理解、Isaac Sim加载机械臂3D资产、虚拟物理碰撞与仿真控制、「先仿真后真机」开发思路VLA / Isaac Sim不含不含精简
15方案复盘与交付总结各组方案演练与配置评审、异常与失败案例复盘、演示线与工业产线工程差距总结（重复定位精度/连续运行可靠性/工业节拍/安全认证）、源码文档配置归档—精简完整完整

● 完整◐ 精简— 不含●＋ 比完整版更深

体验课（taster）聚焦 L1 选型认知、安全规范与SenseCraft开箱遥操，不含视觉联动与3D抓取开发；实战课（workshop）覆盖 L1+L2 完整场景剖析、动作编排与工位视觉事件触发；交付课（bootcamp）全覆盖 L1+L2+L3，含确定性3D空间精准抓取与具身智能前沿探索。

  • 体验课

    • Day 1 上午模块 01 + 02 + 03

      环境预检 → 机械臂选型与商业取舍 → 实训安全第一课与急停演练

    • Day 1 下午模块 04 + 05 + 15(精简)

      SenseCraft开箱与主从遥操 → 语音指令夹取首验 → 总结复盘

    不含工位视觉联动与3D空间抓取开发。

  • 实战课

    • Day 1模块 01–05

      环境预检 → 选型认知 → 安全急停 → SenseCraft遥操 → 语音夹取首验

    • Day 2模块 06–09

      落地场景与节拍核算 → 3D空间直觉 → 动作编排与安全确认 → 工位视觉事件联动

    • Day 3（可选）模块 15

      方案复盘与交付总结

    实战课交付 1 套由工位视觉触发的微场景作业系统（连续 3 次稳定运行）。学员基础要求：掌握基础网络配置与系统联动概念。

  • 交付课

    • Day 1–2模块 01–09

      L1+L2 完整内容（选型安全 + 遥操语音 + 场景编排 + 视觉联动）

    • Day 3模块 10–12

      深度相机3D定位与手眼对齐 → Pinocchio逆运动学求解 → Motorbridge端到端抓取全流程

    • Day 4模块 13–14

      LeRobot遥操动作数据集采集 → VLA具身大模型与Isaac Sim仿真初探

    • Day 5模块 15

      方案复盘与交付归档

    交付课目标是具备独立交付确定性3D空间抓取工程的能力。学员基础要求：具备基础Python编程与Linux技能，熟悉 L1–L2 能力。

体验课 1 天上完，不用写代码，做到「机械臂能动、语音能控」为止。适合展会、技术开放日和第一次接触的客户。

实战课的 Day 3 为可选弹性日：若学员基础较好可压缩为 2 天（Day 2 下午合并复盘）；若需更多微场景联调时间则用满 3 天。

学完拿走什么

以下为完整版（交付课）交付；实战课交付前 3 项；体验课交付第 1、2 项的精简版。

  1. 01

    机械臂工作空间布置与安全操作记录

    含物理隔离区划定图、急停常闭回路接线确认、G字夹固定检查记录、开关机与安全复位规程执行记录。

  2. 02

    SenseCraft 动作流程配置与工位视觉联动演示系统

    含多动作流程编排配置、「生成→3D预览→人工确认→真机执行」安全确认机制设置、工位视觉事件触发联动流程、微场景系统连续3次运行验证记录。

  3. 03

    3D空间自动抓取Python工程源码

    含深度相机3D坐标读取模块、Pinocchio逆运动学求解与异常处理、Motorbridge SDK真机驱动与夹爪控制、端到端抓取全流程主程序（L3）。

  4. 04

    遥操动作数据集样本与方案设计交付文档

    含LeRobot标准格式动作数据集（关节角度+双机位视觉画面）、手眼标定参数记录、方案设计说明与交付验收记录（L3）。

  5. 05

    机械臂选型与场景节拍评估报告

    含目标场景形态匹配分析、速度/精度/负载/安全/成本选型权衡、工序节拍与产能估算、适用与不适用边界判定。

  6. 06

    硬件台架清单与部署运维指南

    含 19 项设备采购清单与物料明细、台架接线拓扑图、SenseCraft/Pinocchio/Motorbridge 环境配置步骤、日常巡检与转场收纳规范。

学完能复现的开源项目

这些项目用的硬件和方法与课上是同一套；上课积累的经验也会回写到这些项目里。

  • 语音抓取机械臂

    说一句 "Hey Jarvis, grab the water bottle"，reBot B601-DM 机械臂用腕部 RGB-D 相机找到目标，约 11 秒抓起；可抓纸盒、瓶子、香蕉、水杯和橙子，语音链路全部在 Jetson Orin NX 本地运行。

  • 语音控制 SO-ARM 机械臂

    用自然语言指挥 SO-ARM101 六自由度机械臂，语音识别、合成与大模型全部在 Jetson Orin NX 本地运行；提供 HTTP 接口读取机械臂实时关节状态。

把视觉引导与运动学算法，落实到机械臂的每次抓取

M6 围绕视觉引导、运动学算法与机械臂执行机构之间的联动展开，课程从零代码主从遥操切入，逐步过渡到 Python 逆运动学编程与具身智能数据集采集，并为讲师配套了完整的安全操作规程与参考工程代码。

  • 切入点 01

    结合现场工况

    模块 09 支持自定义抓取工况。可将分拣对象替换为电子器件、农产品模型或异形零件，引导学员针对不同材质与姿态设计抓取策略。

  • 切入点 02

    接入自有仪表

    台架可灵活联动上游光电传感器或 M4 中的目标检测事件，让机械臂根据外部传感器信号自主启动抓取流程。

  • 切入点 03

    融入工程经验

    讲师在急停回路接线、零点标定偏差修正以及电机负载保护等安全规范上的严格把关，是学员安全开展真机实操的基础保障。

能力边界与合规约束

低速监督控制 + 独立硬件急停，不做安全关键系统替代。

适用范围

  • 轻量分拣演示、展位互动、教学实训与低速监督控制场景
  • 农产品与工业件外观分类抓取、物料移载与按序码放
  • 语音/视觉交互迎宾、轨迹展示与定点巡检摆拍
  • 基于RGB-D深度相机的确定性3D空间抓取工程开发
  • 具身智能算法验证、LeRobot标准动作数据集采集与科研实训

不适用范围

  • 控制类场景严禁扩展到高压强电与安全制动系统。
  • 不提供ISO 10218/TS 15066工业机器人安全认证背书，本课程不替代法定工业安全认证。
  • 急停为独立硬件常闭回路，不接软件控制，严禁通过软件指令替代硬件急停。
  • 不覆盖高速工业节拍（>1件/秒）、高精度力控装配与7×24无人值守严苛工况
  • 不包含微米级精密装配（如精密销孔插拔）与复杂柔性异形物料抓取
  • 不承诺特定场景的具体抓取成功率（受光照条件、物体材质反光及摆放姿态影响，验收指标以现场实测记录为准）
  • 机械臂含精密减速器，转场与收纳须使用定制减震箱固定位姿，避免运输冲击损坏关节齿轮

把 M6 排进你的课表

开课预算根据学员规模与硬件套件核算。发邮件说明预期人数与目标深度，我们在 3 个工作日内提供详细排课与配置方案。

合作咨询 查看学习体系