学習マトリックスに戻る
M2

マルチモーダル AI インタラクション

物理 AI 端末をベースに、エッジビジョン、音声、業務システム API を融合し、マルチモーダル空間インタラクションを実現します。

倉庫管理、展示場案内、スマート受付などの現場では、業務データを確認するために作業を中断し、スマートフォンやキーボードで手入力検索を強いられ業務効率が制限されます。従来の端末には視覚的なコンテキストがなく、人の接近や異常な動作を能動的に検知できません。多くのスマート端末は閉じた環境にあり、既存の WMS、ERP、CRM と連携しづらい上、産業や行政の一部現場では音声や業務データの外部送信が禁止されています。

協業のご相談
SenseCAP Watcher（小智英語版）
難易度
応用
所要時間
L1 1 日 / L2 2〜3 日 / L3 3〜5 日
最短形式
1日（体験講座 · L1）
授業形態
3層：体験 / 実践 / 納品
コアプロトコル
MCP / REST API / Wi-Fi
L3 オフライン演算性能
100 TOPS（Jetson Orin NX 16GB）
方向
AIプロダクト開発
こんな方におすすめ
ソリューションコンサルタントと営業 · 実習講師と教育研究チーム · 企業情報化とスマート化エンジニア · 職業院校と応用型本科の教員・学生
受講の前提
L1 は初学者やエッジ AI デバイスに初めて触れる方に最適。L2 は Docker の基本と REST API 呼び出し経験が必要。L3 は Linux、PyTorch / Jetson の基礎とシェル操作スキルが前提です

典型的な応用シーン

  • スマート倉庫と作業場管理：手動在庫確認の不要化、音声による入出庫登録、異常資材のビジョンリマインダー
  • 展示場と公共ガイド：能動的な人員認識、多言語音声解説、ブース連携制御
  • スマート受付と会議空間：来客応対、空間デバイスの音声制御、スケジュール自動照会
  • 補助見守りと空間サービス：特定行動感知アラート、音声求助と遠隔連携
  • 産業用隔離エリア音声インタラクション：純ローカルネットワークオフライン音声照会とデバイス状態読み上げ

3段階の深さと、それぞれの到達点

  1. L1 デモレベル 1 日間

    マルチモーダルインタラクション機能体験

    Watcherに話しかけてデータ照会と機器操作を行う

    • エッジビジョンと大規模言語モデル Agent を統合する技術アーキテクチャの理解
    • エッジ AI と業務システムの連携における MCP プロトコルの役割を習得
    • 業務シナリオに応じたクラウド連携とローカル運用の選定基準を習得
  2. L2 コンサルタントレベル 3 日間

    業務システム統合と連携設定

    MCPを介して音声を倉庫管理などの業務システムにつなぐ

    • Watcher のビジョンおよび音声 Agent パラメータを独自に設定可能
    • Docker を用いたローカル業務システムおよび MCP ブリッジサービスの構築を習得
    • MCP プロトコルに基づく新規業務 API の拡張手法を習得
  3. L3 設計レベル 5 日間

    エンドツーエンドローカルオフライン音声AIパイプラインデプロイ

    音声パイプラインをすべてローカルで実行。オフラインで動作し、データは社内網の外に出ない

    • VAD → ASR → LLM → TTS の完全ローカル音声パイプライン構造を習得
    • Jetson エッジコンピューティング環境におけるモデル量子化、デプロイ、最適化手法を習得
    • 高機密・産業用隔離ネットワーク環境で AI インタラクションソリューションを納品する能力

修了後にできること

  • エッジ側ビジョン物体検出とイベントトリガー
  • 自然言語音声対話と Agent ロール設定
  • MCP プロトコルに基づく業務システムツール呼び出し
  • ローカル WMS システムの Docker デプロイと API 連携
  • 完全ローカルオフライン音声 AI パイプライン構築（VAD → ASR → LLM → TTS）

機器とツールチェーン

本講座は「目に見える AI 端末 + ローカル推論のコンピューティング」を中核教材とします。

  • WATCHER SenseCAP Watcher（小智英語版） エッジ側マルチモーダルインタラクション端末 · 音声収集とビジョン認識エントリーポイント
  • GW reComputer RK3588-40 エッジスマートコントローラー · 業務システム & MCP ブリッジホスト
  • HMI reTerminal D1001 8インチ産業用スマートタッチパネル · ワークステーション HMI
  • GPU reComputer J4012 (Jetson Orin NX 16GB) L3 上級演算ホスト · 完全ローカルオフライン音声パイプライン
機器4点の写真付きリスト
  • SenseCAP Watcher（小智英語版）

    SenseCAP Watcher（小智英語版）

    エッジ側マルチモーダルインタラクション端末、音声収集とビジョン認識のエントリーポイント

    音声・映像キャプチャと画面表示を統合し、物体検出、人体検知、Wi-Fi経由のSenseCraft AIによる自然言語音声対話をサポート。各グループ標準2台構成。

  • reComputer RK3588-40 エッジインテリジェントコントローラー

    reComputer RK3588-40 エッジインテリジェントコントローラー

    業務システムと MCP ブリッジサービスを実行するエッジホスト

    16GBメモリと6 TOPSのAI演算性能を搭載。Dockerコンテナ化されたWMS在庫管理システムとMCP Bridgeサービスを実行し、ローカル網内で業務データとLLMツール連携を中継。専用電源アダプター付属。

  • reTerminal D1001 8インチ スマートタッチスクリーン

    reTerminal D1001 8インチ スマートタッチスクリーン

    ステーションHMI、倉庫管理業務データ入力と状態監視

    カメラとデュアルマイクを搭載した8インチ産業用タッチ端末。ステーションのHMIとして在庫データの入力やステータス監視を担い、ホストに直接接続してWMS管理画面や対話ログを表示。

  • reComputer J4012 Jetson Orin NX 16GB

    reComputer J4012（Jetson Orin NX 16GB）

    L3 上級エッジ演算ホスト、完全ローカルオフライン音声パイプラインを構築

    100 TOPS級のエッジ演算性能を備え、JetPack、CUDA、TensorRT環境を事前構成。完全ローカルのオフライン音声AIパイプラインを実行し、外部ネットワーク切断環境下でも安定動作。

別途、ポータブル現場ディスプレイ（13.3インチ 1080P）、CUDY AX3000 Wi-Fi 6ルーター、電源タップ、カテゴリ6ギガビットLANケーブル、スマート倉庫管理WMS実習シミュレーション物料キット（バーコードラベル/ロケーションラベル/実体サンプルボックス）、Watcherデスクトップスタンドなどの汎用アクセサリーが必要です。

クラウドのマルチモーダル設定からローカル・オフライン展開へ

SenseCraft AIが素早い設定と検証を担い、MCPブリッジが業務データをLAN内に留め、Jetsonオフラインパイプラインが公網依存を完全に断ちます。

  1. SenseCraft AI + Watcher

    クラウド大規模モデル + エッジ側マルチモーダル端末 · ノーコード設定

    1. Watcherネットワーク設定とバインド
    2. ビジョンモデルとAgentロール設定
    3. 音声照会とMCPツール呼び出し体験

  2. MCP Bridge + Docker + OpenClaw

    標準プロトコルブリッジ · ローカル業務データは社内ネットワーク外に流出しない

    1. ローカルWMS Dockerデプロイ
    2. MCPブリッジconfig.yml設定
    3. OpenClaw自動化ツール登録と連携調整

  3. Jetson Orin NX + オフライン音声パイプライン

    VAD → ASR → LLM → TTS 完全ローカル完結 · インターネット接続ゼロ依存

    1. JetPack環境検証
    2. 量子化モデルデプロイとVRAMチューニング
    3. オフライン連携調整とレイテンシ最適化

重要な転換点 · クラウド連携からローカルオフラインプライベートデプロイへ SenseCraft AI クラウド連携はプロトタイプの迅速な検証に適し、MCP ブリッジにより在庫や業務データを社内 LAN 内に留めて外部流出を防ぎます。Jetson オフライン構成では公網への依存を完全に断ち、厳格な隔離環境でもローカル音声対話を実現します。

L1/L2 は大規模モデルサービスへのインターネット接続が必要です。L3 は 100 TOPS クラスのエッジ計算リソース（Jetson Orin NX 16GB）が必要で、RK3588-40（6 TOPS）ではローカル推論を実行できません。

シラバスと開講形態

教育ユニットは全15個。まず開講形態を示し、シラバス全体は下で展開できます。

  • 体験講座

    最終プロジェクトなし

    1日 · 6〜8時間 · L1 プレゼンテーション層 · エッジ体験と MCP ツール呼び出しデモに特化

  • 実践講座

    最終プロジェクトあり

    2〜3日 · 14〜20時間 · L1+L2 · Watcher 設定 + ローカル WMS 構築 + MCP ブリッジ + 自動化連携

  • 納品講座

    最終プロジェクトあり

    3〜5日 · 24〜35時間 · L1+L2+L3 · Jetson オフライン音声パイプライン構築と隔離検証を含む完全網羅

L1/L2クラウド連携ソリューションは、現場に安定した上りインターネット帯域幅が必要で、SenseCraft AIプラットフォームと大規模モデルサービス呼び出しに使用されます；外部ネットワーク環境がない場合、L1/L2は実行できず、L3オフラインソリューションに切り替える必要があります。

音声認識精度は現場環境の暗騒音、方言・訛り、専門業界用語辞書に影響されます。高騒音の産業現場では指向性集音デバイスの設定が必要で、遠方でのブラインド収音効果は保証しません。

L3純ローカルソリューションは100 TOPSクラスのエッジGPUハードウェア（Jetson Orin NX 16GB以上）に依存し、6 TOPSのRK3588-40ではローカル大規模モデル推論を実行できません。

体験講座にはローカル業務システムデプロイとオフライン音声パイプラインは含まれません。体験講座の受講生が独立してWMSデプロイやオフラインパイプライン構築を完了できると顧客に約束しないでください——それは実践講座と納品講座の納品基準です。

授業の一例 · 01

授業前準備と環境事前チェック

ハードウェア台帳の確認、ネットワーク導通テスト、Watcher ファームウェア事前検証とアカウント設定、RK3588-40 Docker・WMS イメージ準備、J4012 JetPack 環境整備と教材準備

—

全15ユニットのシラバスと形態別の日程を表示
15つの教学モジュールの各排課形態におけるカバー深度
モジュール / 成果物体験1日実践2〜3日納品3〜5日
01授業前準備と環境事前チェックハードウェア台帳の確認、ネットワーク導通テスト、Watcher ファームウェア事前検証とアカウント設定、RK3588-40 Docker・WMS イメージ準備、J4012 JetPack 環境整備と教材準備—完全完全完全
02マルチモーダルインタラクションアーキテクチャとコアコンセプトエッジビジョン、音声 Agent、MCP プロトコル、クラウド・エッジ協調アーキテクチャの解説。クラウド連携とローカルオフライン運用の相違点と選定指針SenseCraft AI完全完全完全
03エッジ側軽量ビジョン推論体験Watcher 物体検知モデル実習（部材認識・接近検知・特定動作検出）、SenseCraft AI ノーコードモデル適用、UART およびネットワーク出力形式の解析SenseCAP Watcher完全完全完全
04シーン別音声Q&AとAgentメカニズム倉庫・小売シナリオにおける自然言語リアルタイム検索、音声入力 → 推論 → 音声合成再生の一貫体験、Agent プロンプトとロール設定、対話メモリ比較（なし / 短期 / 長期）SenseCraft AI Agent完全完全完全
05MCP ツール呼び出しと業務システム連携デモMCP プロトコルによる外部ツール呼び出しデモ（倉庫 DB リアルタイム照会）、スマート倉庫一貫デモ（音声による在庫確認 / 入庫 / 出庫）、OpenClaw デスクトップ自動化連携MCP / OpenClaw完全完全完全
06Watcher ビジョン AI とエッジネットワーク設定Watcher ネットワーク接続と SenseCraft バインド、ビジョンモデル選定と信頼度・閾値チューニング、イベント通知ルール設定（ターゲット出現、侵入検知）SenseCraft AI / Watcherなし完全完全
07音声 Agent とロールプロンプト設定Agent ロール定義（倉庫管理者 / 展示場案内係）、System Prompt および対話スタイルの設定、対話メモリ切り替えと動作検証SenseCraft AI Agentなし完全完全
08ローカル業務管理システムの Docker デプロイRK3588-40 上で Docker と Git を用いてサンプル WMS（suharvest/warehouse_system）を構築、管理画面から初期化と API Key 生成を行い、サンプル在庫データを投入Docker / WMSなし完全完全
09MCP ブリッジサービスの設定と結合検証Watcher MCP 接続エンドポイントと認証情報を取得し、config.yml にローカル業務システム API と API Key を設定。MCP Bridge を起動してハンドシェイク状態を確認MCP Bridgeなし完全完全
10OpenClaw 自動化タスク連携OpenClaw 自動化環境を構築し、スクリプトを MCP ツールとして登録。音声コマンドによる自動検索およびスケジュールタスクを設定OpenClawなし完全完全
11全工程統合連携調整と障害切り分け代表的な業務コマンド（在庫照会・入庫登録・配送追跡）の総合検証、ネットワークタイムアウト・認証エラー・ポート衝突のトラブルシューティング—なし完全完全
12ローカルオフライン音声パイプラインアーキテクチャ解析VAD / ASR / LLM / TTS 各モジュールの役割とデータ転送遅延の分析。オフライン構成とクラウド構成の比較評価（遅延、同時接続数、GPUメモリ消費、プライバシー保護）—なしなし完全
13Jetson 実行環境の構築とモデル最適化デプロイJetPack / CUDA / TensorRT / PyTorch 実行環境の検証、ASR 音声認識モデル（Whisper / FunASR）、4-bit 量子化ローカル LLM（Qwen2.5-7B-Instruct）、TTS エンジン（ChatTTS / Piper）の導入、Watcher 音声ストリームのローカル転送Jetson Orin NXなしなし完全
14オフライン連携調整とレイテンシ最適化物理的に外部ネットワーク接続を遮断してローカルネットワーク自クローズドループ運用を検証、各工程の所要時間をテスト、モデルのコンテキスト長とサンプリングパラメータをチューニング—なしなし完全
15ソリューションレビューと納品総括各チームの成果発表と業務適合性のレビュー、クラウド SaaS とローカルエッジのコスト・選定比較、API 拡張仕様と標準納品ドキュメントの整理—簡略完全完全

● 完全◐ 簡略— なし●＋ 完全版より深い

体験コース（taster）は L1 の端末体験と MCP ツール実演に特化し、WMS 構築やオフライン構成は含みません。実践コース（workshop）は L1+L2 をカバーし Watcher 設定、WMS デプロイ、MCP ブリッジを網羅。納品コース（bootcamp）は L1+L2+L3 を完全網羅し Jetson オフライン音声構成まで含みます。

  • 体験講座

    • Day 1 午前モジュール 01 + 02 + 03

      環境事前チェック → マルチモーダルアーキテクチャ概念 → エッジ側ビジョン推論体験

    • Day 1 午後モジュール 04 + 05 + 15(簡易版)

      音声対話と Agent 構造 → MCP ツール呼び出しと業務連携デモ → まとめと振り返り

    ローカル業務システムデプロイとオフライン音声パイプラインは含みません。

  • 実践講座

    • Day 1モジュール 01–05

      環境事前チェック → マルチモーダルアーキテクチャ → エッジ側ビジョン → 音声Agent → MCPツール呼び出しデモ

    • Day 2モジュール 06–09

      Watcher ビジョン設定 → Agent ロールプロンプト → WMS Docker デプロイ → MCP ブリッジ結合検証

    • Day 3（任意）モジュール 10 + 11 + 15

      OpenClaw自動化連携 → 全工程統合連携調整 → ソリューションレビューと納品総括

    実践コースでは、視覚認識、音声 Agent、ローカル WMS、自動化ツールを含むマルチモーダルシステム結合実習環境を1セット納品。受講要件：Docker の基礎知識と REST API の利用経験。

  • 納品講座

    • Day 1–2モジュール 01–11

      L1+L2 完全内容（エッジ側体験 + Watcher設定 + WMSデプロイ + MCPブリッジ + 全工程連携調整）

    • Day 3モジュール 12

      ローカルオフライン音声パイプラインアーキテクチャ解析

    • Day 4モジュール 13

      Jetson実行環境とASR/LLM/TTSモデルデプロイチューニング

    • Day 5モジュール 14 + 15

      オフライン連携調整とレイテンシ最適化 → ソリューションレビューと納品アーカイブ

    納品コースの目標は、機密保護や産業用隔離ネットワーク環境で AI インタラクションソリューションを構築・納品するスキルを習得することです。受講要件：Linux、PyTorch / Jetson の基礎知識、シェル操作スキル、L1〜L2 の習熟。

体験講座は1日で完結し、業務システムの導入作業は不要で、「音声で照会でき、映像で起動できる」ところまでを扱います。展示会、技術オープンデー、お客様との初回接点に向いています。

実践講座のDay 3は任意の弾力的な日です：受講生の基礎が良好な場合は2日に圧縮可能（Day 2午後にOpenClawと全工程連携調整を統合）；より多くのMCPブリッジチューニング時間が必要な場合は3日間を使い切ります。

修了時に得られるもの

以下はフルバージョン（納品講座）の納品物です；実践講座は上位4項目を納品；体験講座は第1、2項目の簡易版を納品します。

  1. 01

    Watcher ハードウェア設定およびビジョンモデル仕様書

    Watcherデバイスのネットワーク設定記録、ビジョンモデル選択と信頼度/トリガーしきい値パラメータ、イベント上报ルール設定リストを含みます。

  2. 02

    マルチモーダル Agent プロンプトおよび対話メモリ戦略設定ファイル

    AgentロールのSystem Prompt、インタラクションスタイル設定、対話記憶モード（記憶なし/短期/長期）設定と効果検証記録を含みます。

  3. 03

    ローカル業務システムおよび MCP ブリッジサービスのデプロイ手順書

    Docker Composeデプロイファイル、WMS管理コンソール初期化手順、MCP Bridge config.yml設定テンプレート、API Key管理規範を含みます。

  4. 04

    OpenClaw 自動化ツール設定スクリプト

    OpenClaw環境デプロイ手順、自動化スクリプトをMCP呼び出し可能ツールとして登録する設定、音声コマンドによる自動化照会と定時タスクのトリガー設定サンプルを含みます。

  5. 05

    ローカルオフライン音声 AI パイプライン構築・チューニング手順書（L3）

    VAD→ASR→LLM→TTS各モジュールのデプロイ手順、Jetson VRAM割り当てと量子化モデル最適化パラメータ、オフライン連携テスト記録、エンドツーエンドレイテンシテストレポートを含みます。

修了後に再現できるオープンソースプロジェクト

これらのプロジェクトは講座と同じハードウェアと手法を使っており、授業で得た知見もプロジェクトへ反映しています。

  • 音声操作の倉庫管理

    Watcher に話しかけるだけで入庫・出庫・在庫照会ができ、画面に今回の数量と現在の在庫が表示されます。システム全体をローカルに配置できます。

  • ローカル音声サービス

    Jetson Orin、RK3576、RK3588、Raspberry Pi 上でストリーミング音声認識と音声合成を実行します。Jetson では遅延 180 ms 未満、完全オフラインで動作します。

現場の物理端末と企業既存の業務ロジックを直結する

M2 は、視覚認識や音声対話を既存の業務システム（WMS、ERP など）と深く連携させることに焦点を当てています。実機端末の接続、MCP ツール呼び出し、完全ローカル LAN オフライン構築を受講生と共に進め、講師向けにすぐ検証可能なハードウェア・ソフトウェア環境を提供します。

  • 拡張ポイント 01

    現場の条件に合わせる

    ユニット04の音声照会内容は自由にカスタマイズ可能です。倉庫の棚卸し業務を展示会場の案内、設備の巡回点検、会議室予約などに置き換え、実際の運用に合わせて対話シナリオを設計・指導できます。

  • 拡張ポイント 02

    システムを接続する

    ユニット08以降、サンプルの倉庫管理システムを受講機関の備品管理システムや実企業の業務APIに置き換えることができます。自然な音声対話を通じて実際の業務データを照会・更新する実践演習が可能です。

  • 拡張ポイント 03

    実践知の融合

    現場の暗騒音、遠距離集音の限界、ツール呼び出し時のハルシネーション抑制など、実践的な留意点を丁寧に解説し、本番運用と検証デモの違いを受講生に深く理解させます。

能力範囲とコンプライアンス

L1/L2の業務データはローカルMCPブリッジを経由してローカルネットワーク内で流转し、コアデータはドメイン外に出ません；L3は純ローカルオフラインで実行され、公衆網依存はゼロです。

適用範囲

  • 現場ターゲットセンシングと構造化業務音声Q&A
  • MCPプロトコルに基づくWMS/ERP/CRMシステムツール呼び出し
  • エッジビジョンイベントトリガーと自動化タスク連携
  • スマート倉庫、展示場ガイド、スマート受付などのシーンにおけるマルチモーダルインタラクション
  • 強プライバシーと産業用隔離ネットワーク環境下での純ローカルオフライン音声インタラクション（L3）

不適用範囲

  • 高同時実行・長リンクの専用有人カスタマーサポートシステムを代替しません
  • 曖昧かつ主観的な多段ロジックに対する100%の推論精度は保証しません
  • API が非公開の閉鎖型レガシーシステムに対するリバースエンジニアリング開発は含みません
  • 高騒音の産業現場での遠方ブラインド収音には適用されません（指向性集音の設定が必要です）
  • L1/L2 は大規模モデルサービスへのインターネット接続に依存するため、公網接続がない環境では L3 オフライン構成に切り替える必要があります
  • L3 オフライン構成には 100 TOPS クラスのエッジ計算資源（Jetson Orin NX 16GB 以上）が必要で、RK3588-40（6 TOPS）ではローカル推論を処理できません
  • 音声認識精度は現場環境の暗騒音、方言・訛り、専門業界用語辞書に影響され、特定シーンにおける認識精度指標を保証しません

M2を時間割に組み込む

お見積りはクラス形態と規模に応じます。受講人数と希望する深さをメールでお知らせいただければ、3営業日以内にご提案をお送りします。

協業のご相談 学習体系を見る