多模态 AI 交互
基于物理AI终端，融合边缘视觉、语音与业务系统API，实现 多模态空间交互 。
Core Hardware / 核心硬件
- WATCHER SenseCAP Watcher 小智英文版 端侧多模态交互终端 · 语音采集与视觉识别入口
- GW reComputer RK3588-40 边缘智能控制器 · 业务系统与MCP桥接主机
- HMI reTerminal D1001 8寸工业智能触控屏 · 工位人机界面
- GPU reComputer J4012 (Jetson Orin NX 16GB) L3进阶算力主机 · 纯本地离线语音管线
这个模块解决什么
仓储管理、展厅导览、智能前台等场景中，现场人员需停下手工操作，通过键盘或手机手动检索业务数据，效率低下。传统交互终端缺乏视觉上下文，无法主动感知人员靠近或异常动作。智能终端多为封闭生态，难以与存量WMS/ERP/CRM系统对接；部分工业与政企场景禁止音频与业务数据上传公网。
- 难度
- 进阶
- 时长
- L1 1天 / L2 2–3天 / L3 3–5天
- 最短形态
- 1 天（体验课 · L1）
- 排课形态
- 3 层：体验 / 实战 / 交付
- 核心协议
- MCP / REST API / Wi-Fi
- L3离线算力
- 100 TOPS（Jetson Orin NX 16GB）
L1零基础或首次接触边缘AI交互设备；L2需具备Docker基础与REST API调用经验；L3需具备Linux、PyTorch/Jetson基础与shell操作能力
典型应用场景
KEY CAPABILITIES /
- 端侧视觉目标检测与事件触发
- 自然语言语音查询与Agent角色配置
- 基于MCP协议的业务系统工具调用
- 本地WMS系统Docker部署与API集成
- 纯本地离线语音AI管线部署（VAD→ASR→LLM→TTS）
学习所需硬件
本课程以「看得见的 AI 终端 + 本地推理算力」为核心教具。
SenseCAP Watcher（小智英文版）
端侧多模态交互终端，语音采集与视觉识别入口
集成音视频采集与屏幕显示，支持目标检测、人员靠近感知与自然语言语音交互，通过Wi-Fi接入SenseCraft AI平台。SKU 100051523，每组配置2台。
reComputer RK3588-40 边缘智能控制器
运行业务系统与MCP桥接服务的边缘主机
16GB内存，6 TOPS算力，运行Docker容器化WMS仓储系统与MCP Bridge桥接服务，实现局域网内业务数据与大模型工具调用的对接。SKU 100086238，自带12V电源适配器。
reTerminal D1001 8寸智能触控屏
工位人机界面，仓管业务数据录入与状态监视
8寸工业智能触控终端，含摄像头与双麦，SKU 100058144。作为工位人机交互界面，用于仓管业务数据录入与状态监视，可直连主机展示WMS管理控制台与交互日志。
reComputer J4012（Jetson Orin NX 16GB）
L3进阶边缘算力主机，部署纯本地离线语音管线
100 TOPS级别算力，预置JetPack/CUDA/TensorRT/PyTorch环境，部署Silero VAD+Whisper ASR+Qwen LLM+ChatTTS纯本地离线语音AI管线，断网依然可用。SKU 114110314，配19V/4.7A电源适配器。
另配便携式现场显示器（13.3" 1080P）、CUDY AX3000 Wi-Fi 6路由器、供电排插、六类千兆网线、智能仓管WMS实操模拟物料包（条码标贴/货位标签/实体样本盒）、Watcher桌面支架等通用配件。
Codecraft 帮你"敢做"，aily-blockly 帮你"做完"
M0 不用 Arduino IDE 手写 C++，而是采用矽递自研的双平台接力工具链。前半程零安装、5 分钟见效；后半程把作品搬回自己的电脑，变成能带走、能继续演进的工程。
SenseCraft AI + Watcher
云端大模型 + 端侧多模态终端 · 零代码配置
- Watcher配网绑定
- 视觉模型与Agent角色配置
- 语音查询与MCP工具调用体验
MCP Bridge + Docker + OpenClaw
标准协议桥接 · 局域网业务数据不出域
- 本地WMS Docker部署
- MCP桥接config.yml配置
- OpenClaw自动化工具注册与联调
Jetson Orin NX + 离线语音管线
VAD→ASR→LLM→TTS纯本地闭环 · 零公网依赖
- JetPack环境验证
- 量化模型部署与显存调优
- 断网联调与延迟优化
L1/L2依赖互联网连接大模型服务；L3需100 TOPS级别边缘算力（Jetson Orin NX 16GB），RK3588-40（6 TOPS）无法承载本地大模型推理。
三阶递进：展示层 → 顾问层 → 设计层
多模态交互能力体验
拥有专属的 AI 语音助手，通过日常说话直接查询数据与控制设备
- 理解边缘视觉与大模型Agent结合的技术架构
- 掌握MCP协议在端侧AI与业务系统对接中的核心作用
- 掌握云端协同与本地部署在不同业务场景下的选型逻辑
业务系统集成与联动配置
打通内部业务系统，让语音交互直接流转工单、简化繁琐操作
- 独立配置Watcher视觉与语音Agent参数
- 掌握基于Docker的本地业务系统与MCP桥接服务部署
- 掌握基于MCP协议扩展新业务API的方法
端到端本地离线语音AI管线部署
实现纯本地离线部署，断网可用且核心业务数据绝不出内网
- 掌握VAD→ASR→LLM→TTS完整本地端到端语音管线架构
- 掌握在Jetson边缘计算硬件上进行大模型量化与部署优化的方法
- 具备在强隐私与工业隔离网环境下交付AI交互方案的能力
Curriculum / 15 个教学模块
模块顺序不变，切法由你定
选一种形态，看它覆盖哪些模块。完整版是同一门课的三种排法——内容、硬件、交付物完全一致，只是切法不同。
| 模块 / 产出 | 体验1天 | 实战2–3天 | 交付3–5天 | ||
|---|---|---|---|---|---|
| 01 | 课前准备与环境预检硬件台架清点、网络连通性测试、Watcher固件预检与平台账号初始化、RK3588-40 Docker环境与WMS镜像预置、J4012 JetPack环境预载、教学物料准备 | — | 完整 | 完整 | 完整 |
| 02 | 多模态交互架构与核心概念边缘视觉、语音Agent、MCP协议与云边协同架构解析；云端协同与本地离线两种部署形态的技术差异与选型依据 | SenseCraft AI | 完整 | 完整 | 完整 |
| 03 | 端侧轻量视觉推理体验Watcher目标检测模型体验（物料识别、人员靠近、特定动作感知）、SenseCraft AI零代码视觉模型适配、UART与网络数据输出格式解析 | SenseCAP Watcher | 完整 | 完整 | 完整 |
| 04 | 场景化语音问答与Agent机制仓储/零售场景自然语言实时查询演示、语音输入→推理→语音合成播报全链路体验、Agent提示词与角色设定、对话记忆机制对比（无记忆/短期/长期） | SenseCraft AI Agent | 完整 | 完整 | 完整 |
| 05 | MCP工具调用与业务集成演示基于MCP协议的外部工具调用演示（实时查询仓储数据库）、智慧仓管全链路演示（语音查库存/入库/出库）、OpenClaw桌面自动化联动演示 | MCP / OpenClaw | 完整 | 完整 | 完整 |
| 06 | Watcher视觉AI与端侧网络配置Watcher联网配置与SenseCraft平台绑定、视觉模型选择与置信度/触发阈值参数调优、事件上报规则配置（目标出现、区域检测） | SenseCraft AI / Watcher | 不含 | 完整 | 完整 |
| 07 | 语音Agent与角色提示词配置定义Agent角色（仓管助手/展厅讲解员）、配置System Prompt与交互风格、记忆模式切换与效果验证 | SenseCraft AI Agent | 不含 | 完整 | 完整 |
| 08 | 本地业务管理系统Docker部署使用Docker与Git在RK3588-40上部署示例WMS（suharvest/warehouse_system）、访问管理控制台完成管理员初始化与API Key生成、导入演示物料与库位数据 | Docker / WMS | 不含 | 完整 | 完整 |
| 09 | MCP桥接服务配置与联调获取Watcher MCP接入端点与鉴权信息、编辑config.yml配置本地业务系统API地址与API Key、启动MCP Bridge服务并验证端点握手状态 | MCP Bridge | 不含 | 完整 | 完整 |
| 10 | OpenClaw自动化任务联动部署OpenClaw自动化工具环境、将自动化脚本注册为MCP可调用工具、配置语音指令触发自动化查询与定时任务 | OpenClaw | 不含 | 完整 | 完整 |
| 11 | 全链路整合联调与故障排查执行典型业务指令联调（库存查询、入库提交、物流追踪）、常见网络超时/API鉴权失效/端口冲突排查 | — | 不含 | 完整 | 完整 |
| 12 | 本地离线语音管线架构解析VAD/ASR/LLM/TTS各模块职责与数据流转时延分析、离线方案与云端方案指标对比（端到端延迟、并发限制、显存占用与隐私合规） | — | 不含 | 不含 | 完整 |
| 13 | Jetson运行环境与模型部署调优验证JetPack/CUDA/TensorRT/PyTorch运行环境、部署ASR语音识别模型（Whisper/FunASR）、部署4-bit量化本地LLM（Qwen2.5-7B-Instruct）与TTS引擎（ChatTTS/Piper）、Watcher音频流定向至本地服务端口 | Jetson Orin NX | 不含 | 不含 | 完整 |
| 14 | 断网联调与延迟优化物理断开外网连接验证局域网自闭环运行、测试各环节耗时、调优模型上下文长度与采样参数 | — | 不含 | 不含 | 完整 |
| 15 | 方案复盘与交付总结各组成果展示与业务场景适配答辩、云端SaaS架构vs本地边缘计算架构成本与选型复盘、业务系统API扩展规范与标准化交付文档归档 | — | 精简 | 完整 | 完整 |
● 完整◐ 精简— 不含●＋ 比完整版更深
coverage 键对应排课形态 ID（taster / workshop / bootcamp），值为 full（完整覆盖）/ part（精简覆盖）/ none（不含）/ plus（比完整版更深）。体验课（taster）聚焦 L1 端侧体验与MCP工具调用演示，不含本地业务系统部署与离线管线；实战课（workshop）覆盖 L1+L2 完整Watcher配置、WMS部署与MCP桥接；交付课（bootcamp）全覆盖 L1+L2+L3，含Jetson离线语音管线部署。
先选层，再选排法
时间和目标决定选哪一层：要学生带走一个能继续演进的作品，选完整版；只有两天，选马拉松版；只有半天，两门体验课任选其一。
体验课
无 FP1 天 · 6–8h · L1 展示层 · 聚焦端侧体验与MCP工具调用演示
- Day 1 上午模块 01 + 02 + 03
环境预检 → 多模态架构概念 → 端侧视觉推理体验
- Day 1 下午模块 04 + 05 + 15(精简)
语音问答与Agent机制 → MCP工具调用与业务集成演示 → 总结复盘
体验课目标是「看得懂、能讲解、能演示」，3分钟跑通语音查询与视觉触发联动的演示效果。不含本地业务系统部署与离线语音管线。
实战课
FP 完整2–3 天 · 14–20h · L1+L2 · Watcher配置 + 本地WMS部署 + MCP桥接 + 自动化联动
- Day 1模块 01–05
环境预检 → 多模态架构 → 端侧视觉 → 语音Agent → MCP工具调用演示
- Day 2模块 06–09
Watcher视觉配置 → Agent角色提示词 → WMS Docker部署 → MCP桥接联调
- Day 3（可选）模块 10 + 11 + 15
OpenClaw自动化联动 → 全链路整合联调 → 方案复盘与交付总结
实战课交付 1 套包含视觉感知、语音Agent、本地WMS与自动化工具的完整多模态系统联调。学员基础要求：具备Docker基础与REST API调用经验。
交付课
FP 完整3–5 天 · 24–35h · L1+L2+L3 · 全覆盖含Jetson离线语音管线部署与断网验证
- Day 1–2模块 01–11
L1+L2 完整内容（端侧体验 + Watcher配置 + WMS部署 + MCP桥接 + 全链路联调）
- Day 3模块 12
本地离线语音管线架构解析
- Day 4模块 13
Jetson运行环境与ASR/LLM/TTS模型部署调优
- Day 5模块 14 + 15
断网联调与延迟优化 → 方案复盘与交付归档
交付课目标是具备在强隐私与工业隔离网环境下交付AI交互方案的能力。学员基础要求：具备Linux、PyTorch/Jetson基础与shell操作能力，熟悉 L1–L2 能力。
体验课是方案演示与客户沟通的标配形态：零部署门槛、1天闭环、聚焦「语音能查询、视觉能触发」。适合展会、技术开放日与客户初次接触场景。
实战课的 Day 3 为可选弹性日：若学员基础较好可压缩为 2 天（Day 2 下午合并 OpenClaw 与全链路联调）；若需更多 MCP 桥接调优时间则用满 3 天。
L1/L2 云端协同方案要求现场具备稳定上行互联网带宽，用于 SenseCraft AI 平台与大模型服务调用；无外网环境下 L1/L2 无法运行，需切换至 L3 离线方案。
语音识别准确率受现场环境底噪、方言口音及专业行业词库影响，高噪声工业现场需配置定向收音设备，不承诺远场盲收效果。
L3 纯本地方案依赖 100 TOPS 级别边缘 GPU 硬件（Jetson Orin NX 16GB 及以上），6 TOPS 的 RK3588-40 无法承载本地大模型推理。
体验课不包含本地业务系统部署与离线语音管线，请勿向客户承诺体验课学员能独立完成 WMS 部署或离线管线搭建——那是实战课与交付课的交付标准。
适合这些人学
这门课的价值不在大模型，在「把业务系统接进语音交互」的方法
M2 不是一门教学生「跟AI聊天」的课，而是一门教团队如何用物理AI终端和标准协议，把现场已经存在的WMS/ERP/CRM系统接进自然语言交互的方法课。柴火交付的从来不只是「一次上课」，而是一整套可以被拆开、改写、重新组装的东西：15模块课程骨架、教师教案与PPT、Watcher配置模板、MCP桥接config.yml示例、Docker Compose部署文件、离线语音管线部署手册。
口子 01
换场景
模块 04「场景化语音问答」的查询内容是开放的：你的行业、你的客户现场、这座城市正在发生的一个真问题。查库存可以是仓管，可以是展厅展品，可以是会议室日程——问题越靠近真实现场，效果越好，而这件事你比我们懂。
口子 02
接系统
你已有的客户业务系统、学校实训平台上的管理软件、合作方的REST API服务，可以接在模块 08 之后，成为 MCP 桥接练习的对象池。M2 负责把方法讲透，门后面接什么系统，由你来定。
口子 03
加你的东西
你在行业里攒下的那些：Agent提示词调优经验、踩过的MCP鉴权坑、能让学员瞬间理解语音管线延迟的那个比喻、客户现场最常问的三个隐私问题——那正是我们没有、也给不了的部分。
一门AI交互课最好的归宿，不是被完整地执行一遍，而是被一位工程师改到面目全非，然后变成只有他能交付的那个方案。
能力边界与合规约束
核心原则
L1/L2业务数据经本地MCP桥接在局域网内流转，核心数据不出域；L3纯本地离线运行，零公网依赖。
适用范围
- 现场目标感知与结构化业务语音问答
- 基于MCP协议的WMS/ERP/CRM系统工具调用
- 边缘视觉事件触发与自动化任务联动
- 智慧仓储、展厅导览、智能前台等场景的多模态交互
- 强隐私与工业隔离网环境下的纯本地离线语音交互（L3）
不适用范围
- 不替代高并发、长链路的专用人工客服系统
- 不承诺对模糊主观多轮逻辑的100%准确推理
- 不包含对客户未开放API的封闭旧系统的反向破解开发
- 不适用于高噪声工业现场的远场盲收（需配置定向收音）
- L1/L2方案依赖互联网连接大模型服务，无外网环境须切换至L3离线方案
- L3离线方案需100 TOPS级别边缘算力（Jetson Orin NX 16GB及以上），RK3588-40（6 TOPS）无法承载本地大模型推理
- 语音识别准确率受现场环境底噪、方言口音及专业行业词库影响，不承诺特定场景下的识别准确率指标