マルチモーダル AI インタラクション
物理AI端末をベースに、エッジビジョン、音声、業務システムAPIを融合し、 マルチモーダル空間インタラクション を実現します。
コアハードウェア
- WATCHER SenseCAP Watcher 小智英語版 エッジ側マルチモーダルインタラクション端末 · 音声収集とビジョン認識エントリーポイント
- GW reComputer RK3588-40 エッジインテリジェントコントローラー · 業務システムとMCPブリッジホスト
- HMI reTerminal D1001 8インチ産業用スマートタッチスクリーン · ステーションHMI
- GPU reComputer J4012 (Jetson Orin NX 16GB) L3応用コンピューティングホスト · 純ローカルオフライン音声パイプライン
このモジュールが解決すること
倉庫管理、展示場ガイド、スマート受付などのシーンでは、現場担当者は手作業を中断し、キーボードやスマートフォンで業務データを手動検索する必要があり、効率が低下します。従来のインタラクション端末はビジョンコンテキストに欠け、人員の接近や異常動作を能動的に感知できません。スマート端末の多くは閉鎖エコシステムであり、既存のWMS/ERP/CRMシステムとの連携が困難です；一部の産業・官公庁シーンでは音声と業務データの公衆網へのアップロードが禁止されています。
- 難易度
- 応用
- 所要時間
- L1 1日 / L2 2〜3日 / L3 3〜5日
- 最短形式
- 1日（体験講座 · L1）
- 授業形態
- 3層：体験 / 実践 / 納品
- コアプロトコル
- MCP / REST API / Wi-Fi
- L3オフラインコンピューティング
- 100 TOPS（Jetson Orin NX 16GB）
L1は基礎ゼロまたはエッジAIインタラクションデバイス初接触者向け；L2はDocker基礎とREST API呼び出し経験が必要；L3はLinux、PyTorch/Jetson基礎とshell操作能力が必要です。
典型的な応用シーン
キーケイパビリティ
- エッジ側ビジョン物体検出とイベントトリガー
- 自然言語音声照会とAgentロール設定
- MCPプロトコルによる業務システムツール呼び出し
- ローカルWMSシステムのDockerデプロイとAPI統合
- 純ローカルオフライン音声AIパイプラインデプロイ（VAD→ASR→LLM→TTS）
コースで使用するハードウェア
本講座は「目に見える AI 端末 + ローカル推論のコンピューティング」を中核教材とします。
SenseCAP Watcher（小智英語版）
エッジ側マルチモーダルインタラクション端末、音声収集とビジョン認識のエントリーポイント
音声・映像収集と画面表示を統合し、物体検出、人員接近感知、自然言語音声インタラクションをサポートし、Wi-Fi経由でSenseCraft AIプラットフォームに接続します。SKU 100051523、グループごとに2台構成です。
reComputer RK3588-40 エッジインテリジェントコントローラー
業務システムとMCPブリッジサービスを実行するエッジホスト
16GBメモリ、6 TOPSコンピューティング性能、Dockerコンテナ化WMS倉庫管理システムとMCP Bridgeブリッジサービスを実行し、ローカルネットワーク内の業務データと大規模モデルツール呼び出しの連携を実現します。SKU 100086238、12V電源アダプター付属。
reTerminal D1001 8インチスマートタッチスクリーン
ステーションHMI、倉庫管理業務データ入力と状態監視
8インチ産業用スマートタッチ端末、カメラとデュアルマイク付き、SKU 100058144。ステーションHMIとして、倉庫管理業務データ入力と状態監視に使用され、ホストに直接接続してWMS管理コンソールとインタラクションログを表示できます。
reComputer J4012（Jetson Orin NX 16GB）
L3応用エッジコンピューティングホスト、純ローカルオフライン音声パイプラインをデプロイ
100 TOPSクラスの演算能力、JetPack/CUDA/TensorRT/PyTorch環境をプリインストール、Silero VAD+Whisper ASR+Qwen LLM+ChatTTSの純ローカルオフライン音声AIパイプラインをデプロイ、ネットワーク切断時でも利用可能です。SKU 114110314、19V/4.7A電源アダプター付属。
別途、ポータブル現場ディスプレイ（13.3インチ 1080P）、CUDY AX3000 Wi-Fi 6ルーター、電源タップ、カテゴリ6ギガビットLANケーブル、スマート倉庫管理WMS実習シミュレーション物料キット（バーコードラベル/ロケーションラベル/実体サンプルボックス）、Watcherデスクトップスタンドなどの汎用アクセサリーが必要です。
Codecraftが「やってみよう」を支え、aily-blocklyが「やり遂げる」を支える
M0はArduino IDEでC++を手書きするのではなく、Seeed自社開発のデュアルプラットフォームリレーツールチェーンを採用しています。前半はゼロインストールで5分で効果を実感、後半は作品を自分のPCに移し、持ち帰って進化させ続けられるエンジニアリングにします。
SenseCraft AI + Watcher
クラウド大規模モデル + エッジ側マルチモーダル端末 · ノーコード設定
- Watcherネットワーク設定とバインド
- ビジョンモデルとAgentロール設定
- 音声照会とMCPツール呼び出し体験
MCP Bridge + Docker + OpenClaw
標準プロトコルブリッジ · ローカルネットワーク内業務データがドメイン外に出ない
- ローカルWMS Dockerデプロイ
- MCPブリッジconfig.yml設定
- OpenClaw自動化ツール登録と連携調整
Jetson Orin NX + オフライン音声パイプライン
VAD→ASR→LLM→TTS純ローカルクローズドループ · 公衆網依存ゼロ
- JetPack環境検証
- 量子化モデルデプロイとVRAMチューニング
- オフライン連携調整とレイテンシ最適化
L1/L2はインターネット接続による大規模モデルサービスに依存します；L3は100 TOPSクラスのエッジコンピューティング（Jetson Orin NX 16GB）が必要で、RK3588-40（6 TOPS）ではローカル大規模モデル推論を実行できません。
3段階ステップアップ：デモ層 → コンサルタント層 → 設計層
マルチモーダルインタラクション機能体験
専用のAI音声アシスタントを保有し、日常的な発話でデータ照会とデバイス制御を直接行う
- エッジビジョンと大規模モデルAgentを組み合わせた技術アーキテクチャを理解する
- MCPプロトコルがエッジ側AIと業務システムの連携において果たす中核的役割を習得する
- クラウド連携とローカルデプロイの異なる業務シーンにおける選定ロジックを習得する
業務システム統合と連携設定
内部業務システムを連携させ、音声インタラクションでワークオーダーを直接処理し、煩雑な操作を簡素化する
- Watcherのビジョンと音声Agentパラメータを独立して設定する
- Dockerによるローカル業務システムとMCPブリッジサービスのデプロイを習得する
- MCPプロトコルによる新規業務API拡張手法を習得する
エンドツーエンドローカルオフライン音声AIパイプラインデプロイ
純ローカルオフラインデプロイを実現し、ネットワーク切断時でも利用可能でコア業務データが内部ネットワークから絶対に出ない
- VAD→ASR→LLM→TTS完全ローカルエンドツーエンド音声パイプラインアーキテクチャを習得する
- Jetsonエッジコンピューティングハードウェア上での大規模モデル量子化とデプロイ最適化手法を習得する
- 強プライバシーと産業用隔離ネットワーク環境下でAIインタラクションソリューションを納品する能力を備える
Curriculum / 15 つの教学モジュール
モジュール順序は不変、切り方はあなた次第
形態を選んで、どのモジュールをカバーするか確認してください。完全版は同じコースの3つの組み方——内容、ハードウェア、成果物は完全に同一で、切り方だけが異なります。
| モジュール / 成果物 | 体験1日 | 実践2〜3日 | 納品3〜5日 | ||
|---|---|---|---|---|---|
| 01 | 授業前準備と環境事前チェックハードウェアラックの清点、ネットワーク接続テスト、Watcherファームウェア事前チェックとプラットフォームアカウント初期化、RK3588-40 Docker環境とWMSイメージのプリセット、J4012 JetPack環境のプリロード、教材の準備 | — | 完全 | 完全 | 完全 |
| 02 | マルチモーダルインタラクションアーキテクチャとコアコンセプトエッジビジョン、音声Agent、MCPプロトコル、クラウドエッジ連携アーキテクチャの解析；クラウド連携とローカルオフラインの2つのデプロイ形態の技術的差異と選定根拠 | SenseCraft AI | 完全 | 完全 | 完全 |
| 03 | エッジ側軽量ビジョン推論体験Watcher物体検出モデル体験（資材認識、人員接近、特定動作感知）、SenseCraft AIノーコードビジョンモデル適合、UARTとネットワークデータ出力フォーマット解析 | SenseCAP Watcher | 完全 | 完全 | 完全 |
| 04 | シーン別音声Q&AとAgentメカニズム倉庫/小売シーンでの自然言語リアルタイム照会デモ、音声入力→推論→音声合成読み上げの全工程体験、Agentプロンプトとロール設定、対話記憶メカニズム比較（記憶なし/短期/長期） | SenseCraft AI Agent | 完全 | 完全 | 完全 |
| 05 | MCPツール呼び出しと業務統合デモMCPプロトコルに基づく外部ツール呼び出しデモ（リアルタイム倉庫データベース照会）、スマート倉庫管理全工程デモ（音声在庫照会/入庫/出庫）、OpenClawデスクトップ自動化連携デモ | MCP / OpenClaw | 完全 | 完全 | 完全 |
| 06 | WatcherビジョンAIとエッジ側ネットワーク設定Watcherネットワーク接続設定とSenseCraftプラットフォームバインド、ビジョンモデル選択と信頼度/トリガーしきい値パラメータチューニング、イベント上报ルール設定（ターゲット出現、エリア検出） | SenseCraft AI / Watcher | なし | 完全 | 完全 |
| 07 | 音声Agentとロールプロンプト設定Agentロールの定義（倉庫管理アシスタント/展示場解説員）、System Promptとインタラクションスタイルの設定、記憶モード切り替えと効果検証 | SenseCraft AI Agent | なし | 完全 | 完全 |
| 08 | ローカル業務管理システムDockerデプロイDockerとGitを使用してRK3588-40上にサンプルWMS（suharvest/warehouse_system）をデプロイ、管理コンソールにアクセスして管理者初期化とAPI Key生成を完了、デモ用資材とロケーションデータをインポート | Docker / WMS | なし | 完全 | 完全 |
| 09 | MCPブリッジサービス設定と連携調整Watcher MCP接続エンドポイントと認証情報を取得、config.ymlを編集してローカル業務システムAPIアドレスとAPI Keyを設定、MCP Bridgeサービスを起動してエンドポイントハンドシェイク状態を検証 | MCP Bridge | なし | 完全 | 完全 |
| 10 | OpenClaw自動化タスク連携OpenClaw自動化ツール環境のデプロイ、自動化スクリプトをMCP呼び出し可能ツールとして登録、音声コマンドによる自動化照会と定時タスクのトリガー設定 | OpenClaw | なし | 完全 | 完全 |
| 11 | 全工程統合連携調整と障害切り分け典型的な業務コマンドの連携調整（在庫照会、入庫提交、物流追跡）、一般的なネットワークタイムアウト/API認証失敗/ポート競合の切り分け | — | なし | 完全 | 完全 |
| 12 | ローカルオフライン音声パイプラインアーキテクチャ解析VAD/ASR/LLM/TTS各モジュールの役割とデータフローレイテンシ分析、オフラインソリューションとクラウドソリューションの指標比較（エンドツーエンドレイテンシ、同時実行制限、VRAM使用量、プライバシーコンプライアンス） | — | なし | なし | 完全 |
| 13 | Jetson実行環境とモデルデプロイチューニングJetPack/CUDA/TensorRT/PyTorch実行環境を検証、ASR音声認識モデル（Whisper/FunASR）をデプロイ、4-bit量子化ローカルLLM（Qwen2.5-7B-Instruct）とTTSエンジン（ChatTTS/Piper）をデプロイ、Watcher音声ストリームをローカルサービスポートに転送 | Jetson Orin NX | なし | なし | 完全 |
| 14 | オフライン連携調整とレイテンシ最適化物理的に外部ネットワーク接続を遮断してローカルネットワーク自クローズドループ運用を検証、各工程の所要時間をテスト、モデルのコンテキスト長とサンプリングパラメータをチューニング | — | なし | なし | 完全 |
| 15 | ソリューションレビューと納品総括各グループの成果展示と業務シーン適合プレゼン、クラウドSaaSアーキテクチャvsローカルエッジコンピューティングアーキテクチャのコストと選定振り返り、業務システムAPI拡張規範と標準化納品ドキュメントのアーカイブ | — | 簡略 | 完全 | 完全 |
● 完全◐ 簡略— なし●＋ 完全版より深い
coverageキーは授業形態ID（taster / workshop / bootcamp）に対応し、値はfull（完全網羅）/ part（簡易網羅）/ none（含まず）/ plus（フルバージョンより深い）です。体験講座（taster）はL1のエッジ側体験とMCPツール呼び出しデモに焦点を当て、ローカル業務システムデプロイとオフラインパイプラインは含みません；実践講座（workshop）はL1+L2の完全なWatcher設定、WMSデプロイ、MCPブリッジをカバーします；納品講座（bootcamp）はL1+L2+L3を完全網羅し、Jetsonオフライン音声パイプラインデプロイを含みます。
まず層を選び、次に組み方を選ぶ
時間と目標がどの層を選ぶかを決めます：学生に進化し続けられる作品を持ち帰らせたいなら完全版、2日間しかなければマラソン版、半日なら2つの体験コースからどちらかを選んでください。
体験講座
FP なし1日 · 6〜8時間 · L1 デモレベル · エッジ側体験とMCPツール呼び出しデモに焦点
- Day 1 午前モジュール 01 + 02 + 03
環境事前チェック → マルチモーダルアーキテクチャ概念 → エッジ側ビジョン推論体験
- Day 1 午後モジュール 04 + 05 + 15(簡易版)
音声Q&AとAgentメカニズム → MCPツール呼び出しと業務統合デモ → 総括レビュー
体験講座の目標は「理解でき、説明でき、実演できる」ことで、3分で音声照会とビジョントリガー連携のデモ効果を実現します。ローカル業務システムデプロイとオフライン音声パイプラインは含みません。
実践講座
FP フル2〜3日 · 14〜20時間 · L1+L2 · Watcher設定 + ローカルWMSデプロイ + MCPブリッジ + 自動化連携
- Day 1モジュール 01–05
環境事前チェック → マルチモーダルアーキテクチャ → エッジ側ビジョン → 音声Agent → MCPツール呼び出しデモ
- Day 2モジュール 06–09
Watcherビジョン設定 → Agentロールプロンプト → WMS Dockerデプロイ → MCPブリッジ連携調整
- Day 3（任意）モジュール 10 + 11 + 15
OpenClaw自動化連携 → 全工程統合連携調整 → ソリューションレビューと納品総括
実践講座では、ビジョンセンシング、音声Agent、ローカルWMS、自動化ツールを含む完全なマルチモーダルシステムの連携調整を1セット納品します。受講生の基礎要件：Docker基礎とREST API呼び出し経験を備えていること。
納品講座
FP フル3〜5日 · 24〜35時間 · L1+L2+L3 · Jetsonオフライン音声パイプラインデプロイとオフライン検証を含む完全網羅
- Day 1–2モジュール 01–11
L1+L2 完全内容（エッジ側体験 + Watcher設定 + WMSデプロイ + MCPブリッジ + 全工程連携調整）
- Day 3モジュール 12
ローカルオフライン音声パイプラインアーキテクチャ解析
- Day 4モジュール 13
Jetson実行環境とASR/LLM/TTSモデルデプロイチューニング
- Day 5モジュール 14 + 15
オフライン連携調整とレイテンシ最適化 → ソリューションレビューと納品アーカイブ
納品講座の目標は、強プライバシーと産業用隔離ネットワーク環境下でAIインタラクションソリューションを納品する能力を備えることです。受講生の基礎要件：Linux、PyTorch/Jetson基礎とshell操作能力を備え、L1〜L2の能力に習熟していること。
体験講座はソリューションデモと顧客コミュニケーションの標準形態です：デプロイのハードルゼロ、1日完結、「音声で照会でき、ビジョンでトリガーできる」に焦点。展示会、技術オープンデー、顧客との初回接触シーンに適しています。
実践講座のDay 3は任意の弾力的な日です：受講生の基礎が良好な場合は2日に圧縮可能（Day 2午後にOpenClawと全工程連携調整を統合）；より多くのMCPブリッジチューニング時間が必要な場合は3日間を使い切ります。
L1/L2クラウド連携ソリューションは、現場に安定した上りインターネット帯域幅が必要で、SenseCraft AIプラットフォームと大規模モデルサービス呼び出しに使用されます；外部ネットワーク環境がない場合、L1/L2は実行できず、L3オフラインソリューションに切り替える必要があります。
音声認識精度は現場環境の暗騒音、方言・訛り、専門業界用語辞書に影響されます。高騒音の産業現場では指向性集音デバイスの設定が必要で、遠方でのブラインド収音効果は保証しません。
L3純ローカルソリューションは100 TOPSクラスのエッジGPUハードウェア（Jetson Orin NX 16GB以上）に依存し、6 TOPSのRK3588-40ではローカル大規模モデル推論を実行できません。
体験講座にはローカル業務システムデプロイとオフライン音声パイプラインは含まれません。体験講座の受講生が独立してWMSデプロイやオフラインパイプライン構築を完了できると顧客に約束しないでください——それは実践講座と納品講座の納品基準です。
こんな方におすすめ
この講座の価値は大規模モデルにあるのではなく、「業務システムを音声インタラクションに接続する」方法にあります
M2は学生に「AIとチャットする」ことを教える講座ではなく、チームに物理AI端末と標準プロトコルを用いて、現場に既に存在するWMS/ERP/CRMシステムを自然言語インタラクションに接続する方法を教える講座です。柴火が提供するのは決して「一度の授業」だけではなく、分解し、書き換え、再構築できる一式です：15モジュールの講座骨格、教師用教案とPPT、Watcher設定テンプレート、MCPブリッジconfig.ymlサンプル、Docker Composeデプロイファイル、オフライン音声パイプラインデプロイマニュアル。
口01
シーンの切り替え
モジュール04「シーン別音声Q&A」の照会内容はオープンです：あなたの業界、あなたの顧客現場、この街で今起きている本当の問題。在庫照会は倉庫管理でも、展示場の展示品でも、会議室のスケジュールでも構いません——問題が現実の現場に近いほど効果は高まり、そのことはあなたが私たちよりよく知っています。
口02
システムを接続する
あなたが既に持つ顧客の業務システム、学校の実習プラットフォーム上の管理ソフトウェア、提携先のREST APIサービスは、モジュール08の後に接続してMCPブリッジ練習の対象プールにできます。M2は方法を徹底的に説明し、扉の後にどのシステムを接続するかはあなたが決めてください。
口03
自分のものを加える
あなたが業界で培ってきたもの：Agentプロンプトチューニング経験、踏んだMCP認証の失敗、受講生に音声パイプラインのレイテンシを瞬時に理解させるあの比喩、顧客現場で最もよく聞かれる3つのプライバシー問題——それはまさに私たちが持たず、提供できない部分です。
AIインタラクション講座の最良の行き先は、完璧に実施されることではなく、あるエンジニアによって見分けがつかないほどに作り変えられ、その人にしか納品できないソリューションになることです。
能力範囲とコンプライアンス
基本原則
L1/L2の業務データはローカルMCPブリッジを経由してローカルネットワーク内で流转し、コアデータはドメイン外に出ません；L3は純ローカルオフラインで実行され、公衆網依存はゼロです。
適用範囲
- 現場ターゲットセンシングと構造化業務音声Q&A
- MCPプロトコルに基づくWMS/ERP/CRMシステムツール呼び出し
- エッジビジョンイベントトリガーと自動化タスク連携
- スマート倉庫、展示場ガイド、スマート受付などのシーンにおけるマルチモーダルインタラクション
- 強プライバシーと産業用隔離ネットワーク環境下での純ローカルオフライン音声インタラクション（L3）
不適用範囲
- 高同時実行・長リンクの専用有人カスタマーサポートシステムを代替しません
- 曖昧で主観的な多輪ロジックに対する100%正確な推論を保証しません
- 顧客がAPIを公開していない閉鎖的な旧システムのリバースエンジニアリング開発は含みません
- 高騒音の産業現場での遠方ブラインド収音には適用されません（指向性集音の設定が必要です）
- L1/L2ソリューションはインターネット接続による大規模モデルサービスに依存し、外部ネットワーク環境がない場合はL3オフラインソリューションに切り替える必要があります
- L3オフラインソリューションには100 TOPSクラスのエッジコンピューティング（Jetson Orin NX 16GB以上）が必要で、RK3588-40（6 TOPS）ではローカル大規模モデル推論を実行できません
- 音声認識精度は現場環境の暗騒音、方言・訛り、専門業界用語辞書に影響され、特定シーンにおける認識精度指標を保証しません