多模态 AI 交互
基于物理 AI 终端，融合边缘视觉、语音与业务系统 API，实现多模态空间交互。
仓储管理、展厅导览、智能前台等场景中，现场人员要查业务数据，需停下手头操作，在手机或电脑键盘上手动检索，效率受限。传统交互终端缺乏视觉上下文，无法主动感知人员靠近或异常动作。智能终端多为封闭生态，难以与存量 WMS、ERP、CRM 系统对接；部分工业与政企场景禁止音频与业务数据上传公网。
- 难度
- 进阶
- 时长
- L1 1 天 / L2 2–3 天 / L3 3–5 天
- 最短形态
- 1 天（体验课 · L1）
- 排课形态
- 3 层：体验 / 实战 / 交付
- 核心协议
- MCP / REST API / Wi-Fi
- L3 离线算力
- 100 TOPS（Jetson Orin NX 16GB）
- 所属方向
- 造 AI 的物
- 适合这些人学
- 方案顾问与商务销售 · 实训讲师与教研团队 · 企业信息化与智能化工程师 · 职业院校与应用型本科师生
- 学员基础
- L1 适合零基础或首次接触边缘 AI 交互设备；L2 需具备 Docker 基础与 REST API 调用经验；L3 需具备 Linux、PyTorch / Jetson 基础与 Shell 操作能力
典型应用场景
- 智慧仓储与车间管理：免手动查库存、语音录入出入库、异常物料视觉提醒
- 展厅与公共导览：主动人员识别、多语种语音讲解、展位联动控制
- 智能前台与会议空间：访客接待、空间设备语音控制、日程自动化查询
- 辅助看护与空间服务：特定行为感知告警、语音求助与远程联动
- 工业隔离区语音交互：纯局域网离线语音查询与设备状态播报
三档深度，各学到哪一步
- L1 展示层 1 天
多模态交互能力体验
用语音向 Watcher 查询数据、控制设备
- 理解边缘视觉与大模型 Agent 结合的技术架构
- 掌握 MCP 协议在端侧 AI 与业务系统对接中的核心作用
- 掌握云端协同与本地部署在不同业务场景下的选型依据
- L2 顾问层 3 天
业务系统集成与联动配置
通过 MCP 把语音接到仓储等业务系统
- 独立配置 Watcher 视觉与语音 Agent 参数
- 掌握基于 Docker 的本地业务系统与 MCP 桥接服务部署
- 掌握基于 MCP 协议扩展新业务 API 的方法
- L3 设计层 5 天
端到端本地离线语音AI管线部署
语音管线全部跑在本地，断网可用，数据不出内网
- 掌握 VAD → ASR → LLM → TTS 完整本地端到端语音管线架构
- 掌握在 Jetson 边缘计算硬件上量化与部署优化大模型的方法
- 具备在强隐私与工业隔离网环境下交付 AI 交互方案的能力
学完能做的事
- 端侧视觉目标检测与事件触发
- 自然语言语音查询与 Agent 角色配置
- 基于 MCP 协议的业务系统工具调用
- 本地 WMS 系统 Docker 部署与 API 集成
- 纯本地离线语音 AI 管线部署（VAD → ASR → LLM → TTS）
设备与工具链
本课程以「看得见的 AI 终端 + 本地推理算力」为核心教具。
- WATCHER SenseCAP Watcher（小智英文版） 端侧多模态交互终端 · 语音采集与视觉识别入口
- GW reComputer RK3588-40 边缘智能控制器 · 业务系统与 MCP 桥接主机
- HMI reTerminal D1001 8 英寸工业智能触控屏 · 工位人机界面
- GPU reComputer J4012 (Jetson Orin NX 16GB) L3 进阶算力主机 · 纯本地离线语音管线
4 件设备的图文清单
-
SenseCAP Watcher（小智英文版）
端侧多模态交互终端，语音采集与视觉识别入口
集成音视频采集与屏幕显示，支持目标检测、人员靠近感知与自然语言语音交互，通过 Wi-Fi 接入 SenseCraft AI 平台，每组标准配置 2 台。
-
reComputer RK3588-40 边缘智能控制器
运行业务系统与 MCP 桥接服务的边缘主机
配备 16GB 内存与 6 TOPS 算力，运行 Docker 容器化 WMS 仓储系统与 MCP Bridge 桥接服务，实现局域网业务数据与大模型工具调用的对接，配独立电源适配器。
-
reTerminal D1001 8 英寸智能触控屏
工位人机界面，仓管业务数据录入与状态监视
8 英寸工业智能触控终端，集成摄像头与双麦克风。作为工位人机交互界面，用于仓管数据录入与状态监视，可直连主机展示 WMS 管理控制台与交互日志。
-
reComputer J4012（Jetson Orin NX 16GB）
L3 进阶边缘算力主机，部署纯本地离线语音管线
具备 100 TOPS 级端侧算力，预置完整 JetPack、CUDA 与 TensorRT 环境，部署纯本地离线语音 AI 管线，断网环境下依然稳定可用。
另配便携式现场显示器（13.3" 1080P）、CUDY AX3000 Wi-Fi 6路由器、供电排插、六类千兆网线、智能仓管WMS实操模拟物料包（条码标贴/货位标签/实体样本盒）、Watcher桌面支架等通用配件。
从云端多模态配置到本地离线部署
SenseCraft AI 负责快速配置与验证，MCP 桥接把业务数据留在局域网，Jetson 离线管线彻底切断公网依赖。
-
SenseCraft AI + Watcher
云端大模型 + 端侧多模态终端 · 零代码配置
- Watcher配网绑定
- 视觉模型与Agent角色配置
- 语音查询与MCP工具调用体验
-
MCP Bridge + Docker + OpenClaw
标准协议桥接 · 局域网业务数据不出内网
- 本地WMS Docker部署
- MCP桥接config.yml配置
- OpenClaw自动化工具注册与联调
-
Jetson Orin NX + 离线语音管线
VAD → ASR → LLM → TTS 纯本地全流程 · 零公网依赖
- JetPack环境验证
- 量化模型部署与显存调优
- 断网联调与延迟优化
关键转折点 · 从云端协同到本地离线私有化部署 SenseCraft AI 云端方案适合前期快速打通原型；MCP 桥接让库存与业务数据留在局域网内流转，不向外网泄露；Jetson 离线管线则彻底切断公网依赖，在严苛的隔离网和高保密环境下实现纯本地语音交互。
L1/L2 依赖互联网连接大模型服务；L3 需 100 TOPS 级别边缘算力（Jetson Orin NX 16GB），RK3588-40（6 TOPS）无法承载本地大模型推理。
大纲与排课
共 15 个教学模块。先看有哪几种排课形态，完整大纲在下面展开。
体验课
不含结课项目1 天 · 6–8h · L1 展示层 · 聚焦端侧体验与 MCP 工具调用演示
实战课
含结课项目2–3 天 · 14–20h · L1+L2 · Watcher 配置 + 本地 WMS 部署 + MCP 桥接 + 自动化联动
交付课
含结课项目3–5 天 · 24–35h · L1+L2+L3 · 全覆盖含 Jetson 离线语音管线部署与断网验证
L1/L2 云端协同方案要求现场具备稳定上行互联网带宽，用于 SenseCraft AI 平台与大模型服务调用；无外网环境下 L1/L2 无法运行，需切换至 L3 离线方案。
语音识别准确率受现场环境底噪、方言口音及专业行业词库影响，高噪声工业现场需配置定向收音设备，不承诺远场盲收效果。
L3 纯本地方案依赖 100 TOPS 级别边缘 GPU 硬件（Jetson Orin NX 16GB 及以上），6 TOPS 的 RK3588-40 无法承载本地大模型推理。
体验课不包含本地业务系统部署与离线语音管线，请勿向客户承诺体验课学员能独立完成 WMS 部署或离线管线搭建——那是实战课与交付课的交付标准。
其中一节 · 01
课前准备与环境预检
硬件台架清点、网络连通性测试、Watcher 固件预检与平台账号初始化、RK3588-40 Docker 环境与 WMS 镜像预置、J4012 JetPack 环境预载与教学物料准备
—
展开 15 个教学模块的完整大纲与各形态日程
| 模块 / 产出 | 体验1天 | 实战2–3天 | 交付3–5天 | ||
|---|---|---|---|---|---|
| 01 | 课前准备与环境预检硬件台架清点、网络连通性测试、Watcher 固件预检与平台账号初始化、RK3588-40 Docker 环境与 WMS 镜像预置、J4012 JetPack 环境预载与教学物料准备 | — | 完整 | 完整 | 完整 |
| 02 | 多模态交互架构与核心概念边缘视觉、语音 Agent、MCP 协议与云边协同架构解析；云端协同与本地离线两种部署形态的技术差异与选型依据 | SenseCraft AI | 完整 | 完整 | 完整 |
| 03 | 端侧轻量视觉推理体验Watcher 目标检测模型体验（物料识别、人员靠近、特定动作感知）、SenseCraft AI 零代码视觉模型适配、UART 与网络数据输出格式解析 | SenseCAP Watcher | 完整 | 完整 | 完整 |
| 04 | 场景化语音问答与Agent机制仓储与零售场景自然语言实时查询演示、语音输入 → 推理 → 语音合成播报全链路体验、Agent 提示词与角色设定、对话记忆机制对比（无记忆 / 短期 / 长期） | SenseCraft AI Agent | 完整 | 完整 | 完整 |
| 05 | MCP 工具调用与业务集成演示基于 MCP 协议的外部工具调用演示（实时查询仓储数据库）、智慧仓管全链路演示（语音查库存 / 入库 / 出库）、OpenClaw 桌面自动化联动演示 | MCP / OpenClaw | 完整 | 完整 | 完整 |
| 06 | Watcher 视觉 AI 与端侧网络配置Watcher 联网配置与 SenseCraft 平台绑定、视觉模型选择与置信度 / 触发阈值参数调优、事件上报规则配置（目标出现、区域检测） | SenseCraft AI / Watcher | 不含 | 完整 | 完整 |
| 07 | 语音 Agent 与角色提示词配置定义 Agent 角色（仓管助手 / 展厅讲解员）、配置 System Prompt 与交互风格、记忆模式切换与效果验证 | SenseCraft AI Agent | 不含 | 完整 | 完整 |
| 08 | 本地业务管理系统 Docker 部署使用 Docker 与 Git 在 RK3588-40 上部署示例 WMS（suharvest/warehouse_system）、访问管理控制台完成管理员初始化与 API Key 生成、导入演示物料与库位数据 | Docker / WMS | 不含 | 完整 | 完整 |
| 09 | MCP 桥接服务配置与联调获取 Watcher MCP 接入端点与鉴权信息、编辑 config.yml 配置本地业务系统 API 地址与 API Key、启动 MCP Bridge 服务并验证端点握手状态 | MCP Bridge | 不含 | 完整 | 完整 |
| 10 | OpenClaw 自动化任务联动部署 OpenClaw 自动化工具环境、将自动化脚本注册为 MCP 可调用工具、配置语音指令触发自动化查询与定时任务 | OpenClaw | 不含 | 完整 | 完整 |
| 11 | 全链路整合联调与故障排查执行典型业务指令联调（库存查询、入库提交、物流追踪）、常见网络超时 / API 鉴权失效 / 端口冲突排查 | — | 不含 | 完整 | 完整 |
| 12 | 本地离线语音管线架构解析VAD / ASR / LLM / TTS 各模块职责与数据流转时延分析、离线方案与云端方案指标对比（端到端延迟、并发限制、显存占用与隐私合规） | — | 不含 | 不含 | 完整 |
| 13 | Jetson 运行环境与模型部署调优验证 JetPack / CUDA / TensorRT / PyTorch 运行环境、部署 ASR 语音识别模型（Whisper / FunASR）、部署 4-bit 量化本地 LLM（Qwen2.5-7B-Instruct）与 TTS 引擎（ChatTTS / Piper）、将 Watcher 音频流定向至本地服务端口 | Jetson Orin NX | 不含 | 不含 | 完整 |
| 14 | 断网联调与延迟优化物理断开外网连接验证局域网独立运行、测试各环节耗时、调优模型上下文长度与采样参数 | — | 不含 | 不含 | 完整 |
| 15 | 方案复盘与交付总结各组成果展示与业务场景适配答辩、云端 SaaS 架构与本地边缘计算架构成本选型复盘、业务系统 API 扩展规范与标准化交付文档归档 | — | 精简 | 完整 | 完整 |
● 完整◐ 精简— 不含●＋ 比完整版更深
体验课（taster）聚焦 L1 端侧体验与 MCP 工具调用演示，不含本地业务系统部署与离线管线；实战课（workshop）覆盖 L1+L2 完整 Watcher 配置、WMS 部署与 MCP 桥接；交付课（bootcamp）全覆盖 L1+L2+L3，含 Jetson 离线语音管线部署。
体验课
- Day 1 上午模块 01 + 02 + 03
环境预检 → 多模态架构概念 → 端侧视觉推理体验
- Day 1 下午模块 04 + 05 + 15(精简)
语音问答与 Agent 机制 → MCP 工具调用与业务集成演示 → 总结复盘
不含本地业务系统部署与离线语音管线。
实战课
- Day 1模块 01–05
环境预检 → 多模态架构 → 端侧视觉 → 语音Agent → MCP工具调用演示
- Day 2模块 06–09
Watcher 视觉配置 → Agent 角色提示词 → WMS Docker 部署 → MCP 桥接联调
- Day 3（可选）模块 10 + 11 + 15
OpenClaw自动化联动 → 全链路整合联调 → 方案复盘与交付总结
实战课交付 1 套包含视觉感知、语音 Agent、本地 WMS 与自动化工具的完整多模态系统联调。学员基础要求：具备 Docker 基础与 REST API 调用经验。
交付课
- Day 1–2模块 01–11
L1+L2 完整内容（端侧体验 + Watcher配置 + WMS部署 + MCP桥接 + 全链路联调）
- Day 3模块 12
本地离线语音管线架构解析
- Day 4模块 13
Jetson运行环境与ASR/LLM/TTS模型部署调优
- Day 5模块 14 + 15
断网联调与延迟优化 → 方案复盘与交付归档
交付课目标是具备在强隐私与工业隔离网环境下交付 AI 交互方案的能力。学员基础要求：具备 Linux、PyTorch / Jetson 基础与 Shell 操作能力，熟悉 L1–L2 能力。
体验课 1 天上完，不用部署业务系统，做到「语音能查询、视觉能触发」为止。适合展会、技术开放日和第一次接触的客户。
实战课的 Day 3 为可选弹性日：若学员基础较好可压缩为 2 天（Day 2 下午合并 OpenClaw 与全链路联调）；若需更多 MCP 桥接调优时间则用满 3 天。
学完拿走什么
以下为完整版（交付课）交付；实战课交付前 4 项；体验课交付第 1、2 项的精简版。
- 01
Watcher 硬件配置与视觉模型参数说明书
含Watcher设备配网记录、视觉模型选择与置信度/触发阈值参数、事件上报规则配置清单。
- 02
多模态 Agent 角色提示词与记忆策略配置文件
含Agent角色System Prompt、交互风格设定、对话记忆模式（无记忆/短期/长期）配置与效果验证记录。
- 03
本地业务系统与 MCP 桥接服务部署指南
含Docker Compose部署文件、WMS管理控制台初始化步骤、MCP Bridge config.yml配置模板与API Key管理规范。
- 04
OpenClaw 自动化工具配置脚本
含OpenClaw环境部署步骤、自动化脚本注册为MCP可调用工具的配置、语音指令触发自动化查询与定时任务的配置示例。
- 05
本地离线语音 AI 管线部署与调优手册（L3）
含VAD→ASR→LLM→TTS各模块部署步骤、Jetson显存分配与量化模型优化参数、断网联调测试记录与端到端延迟测试报告。
学完能复现的开源项目
这些项目用的硬件和方法与课上是同一套；上课积累的经验也会回写到这些项目里。
语音仓管
对着 Watcher 说一句就能入库、出库、查库存，屏幕回报本次数量与当前库存；可以整套部署在本地。
本地语音服务
在 Jetson Orin、RK3576、RK3588 和树莓派上运行流式语音识别与语音合成，Jetson 上延迟低于 180 ms，完全离线。
打通物理端侧交互与企业存量业务逻辑
M2 聚焦于把视觉感知、语音交互与企业存量业务系统（如 WMS、ERP）深层串联。课程带着学员完成物理终端接入、MCP 工具调用以及纯局域网离线部署，为讲师提供全套开箱即可验证的软硬件环境。
切入点 01
结合现场工况
模块 04 的语音查询内容支持自由定制。讲师可将仓储盘点替换为展厅导览、设备状态巡检或会议室调度，引导学员根据实际业务语义设计多轮对话策略。
切入点 02
接系统
在模块 08 之后，讲师可将示例库存系统替换为实验库房系统或企业现有业务 API，实操通过自然语音查询与更新真实业务数据。
切入点 03
融入工程经验
把现场底噪、远场拾音限制以及大模型工具调用时的幻觉防护等工程细节讲透，让学员明白真实环境和实验室 demo 的差别。
能力边界与合规约束
L1/L2业务数据经本地MCP桥接在局域网内流转，核心数据不出域；L3纯本地离线运行，零公网依赖。
适用范围
- 现场目标感知与结构化业务语音问答
- 基于MCP协议的WMS/ERP/CRM系统工具调用
- 边缘视觉事件触发与自动化任务联动
- 智慧仓储、展厅导览、智能前台等场景的多模态交互
- 强隐私与工业隔离网环境下的纯本地离线语音交互（L3）
不适用范围
- 不替代高并发、长链路的专用人工客服系统
- 不承诺对模糊主观多轮逻辑的 100% 准确推理
- 不包含对客户未开放 API 的封闭旧系统的反向破解开发
- 不适用于高噪声工业现场的远场盲收（需配置定向收音）
- L1/L2 方案依赖互联网连接大模型服务，无外网环境须切换至 L3 离线方案
- L3 离线方案需 100 TOPS 级别边缘算力（Jetson Orin NX 16GB 及以上），RK3588-40（6 TOPS）无法承载本地大模型推理
- 语音识别准确率受现场环境底噪、方言口音及专业行业词库影响，不承诺特定场景下的识别准确率指标