Interacción de IA Multimodal
Basado en terminales de IA físicos, integra visión en el borde, voz y APIs de sistemas de negocio para lograr interacción espacial multimodal.
En almacenes, salas de exposición y recepciones inteligentes, consultar datos exige pausar el trabajo manual para buscar en móviles o teclados, limitando la eficiencia. Los terminales tradicionales carecen de contexto visual y no detectan la aproximación de personas ni acciones anómalas. Muchos terminales inteligentes forman ecosistemas cerrados difíciles de integrar con sistemas WMS, ERP y CRM existentes; ciertos entornos industriales y gubernamentales prohíben subir audio y datos operativos a la nube pública.
- Dificultad
- Avanzado
- Duración
- L1 1 día / L2 2–3 días / L3 3–5 días
- Formato Más Corto
- 1 día (curso de iniciación · L1)
- Formato de Enseñanza
- 3 niveles: iniciación / práctica / entrega
- Protocolo central
- MCP / REST API / Wi-Fi
- Potencia offline L3
- 100 TOPS（Jetson Orin NX 16GB）
- Itinerario
- Construir productos con IA
- A quién va dirigido
- Consultores de soluciones y ventas comerciales · Instructores de formación práctica y equipos de investigación educativa · Ingenieros de informatización e inteligencia empresarial · Docentes y estudiantes de institutos profesionales y universidades aplicadas
- Requisitos previos
- L1 apto para principiantes o personas sin contacto previo con dispositivos de IA en el borde; L2 requiere nociones de Docker y consumo de REST API; L3 exige conocimientos de Linux, PyTorch / Jetson y manejo de shell
Escenarios típicos de aplicación
- Almacenes inteligentes y gestión de talleres: consulta de inventario sin operaciones manuales, registro de entrada/salida por voz, alertas visuales de materiales anómalos
- Salas de exposición y guías públicas: reconocimiento proactivo de personas, explicaciones por voz multilingües, control vinculado de stands
- Recepción inteligente y espacios de reunión: atención a visitantes, control por voz de dispositivos del espacio, consulta automatizada de agendas
- Cuidado asistido y servicios espaciales: alertas de detección de comportamientos específicos, solicitud de ayuda por voz y vinculación remota
- Interacción por voz en zonas industriales aisladas: consulta de voz offline en red local pura y reporte de estados de dispositivos
Tres niveles y hasta dónde llega cada uno
- L1 Nivel de Demostración 1 día
Experiencia de capacidades de interacción multimodal
Consulte datos y controle dispositivos hablando con el Watcher
- Comprender la arquitectura técnica que combina visión en el borde y agentes basados en LLM
- Dominar el papel clave del protocolo MCP en la integración entre IA en el terminal y sistemas de negocio
- Dominar los criterios de selección entre arquitectura nube-borde y despliegue local según el caso de uso
- L2 Nivel de Consultor 3 días
Integración de sistemas de negocio y configuración de vinculación
Conecte la voz con el almacén y otros sistemas de negocio mediante MCP
- Configurar de manera autónoma los parámetros de visión y voz del Agent en Watcher
- Dominar el despliegue con Docker de sistemas de negocio locales y servicios de puente MCP
- Dominar la ampliación de nuevas APIs de negocio mediante el protocolo MCP
- L3 Nivel de Diseño 5 días
Despliegue de pipeline de IA de voz offline local extremo a extremo
Ejecute todo el flujo de voz en local: funciona sin conexión y los datos no salen de la intranet
- Dominar la arquitectura completa de canalización de voz local de extremo a extremo (VAD → ASR → LLM → TTS)
- Dominar la cuantización, despliegue y optimización de modelos LLM en hardware de borde Jetson
- Capacidad para desplegar soluciones de interacción con IA en entornos industriales aislados y con altos requisitos de privacidad
Lo que sabrán hacer al terminar
- Detección de objetos visuales en el borde y activación de eventos
- Consultas por voz en lenguaje natural y configuración de roles de Agent
- Llamada a herramientas de sistemas de negocio basada en el protocolo MCP
- Despliegue en Docker del sistema WMS local e integración de API
- Despliegue de canalización de IA de voz local y desconectada (VAD → ASR → LLM → TTS)
Hardware y cadena de herramientas
Este curso emplea como material didáctico central los «terminales de IA visibles + potencia de cómputo local de inferencia».
- WATCHER SenseCAP Watcher (versión en inglés XiaoZhi) Terminal de interaccion multimodal en dispositivo · entrada de captura de voz y reconocimiento visual
- GW reComputer RK3588-40 Controlador inteligente de borde · Host de sistemas de negocio y puente MCP
- HMI reTerminal D1001 Pantalla táctil industrial inteligente de 8 pulgadas · HMI de estación de trabajo
- GPU reComputer J4012 (Jetson Orin NX 16GB) Host de computación avanzada L3 · Canalización de voz local desconectada
Lista ilustrada de 4 dispositivos
-
SenseCAP Watcher (versión en inglés XiaoZhi)
Terminal de interacción multimodal en el borde, entrada de captura de voz y reconocimiento visual
Integra captura de audio/video y pantalla, admitiendo detección de objetos, presencia humana e interacción por voz en lenguaje natural mediante Wi-Fi con SenseCraft AI; 2 unidades por grupo.
-
Controlador inteligente en el borde reComputer RK3588-40
Host de borde que ejecuta sistemas de negocio y el servicio de puente MCP
Equipado con 16 GB de RAM y 6 TOPS de cálculo, ejecuta el sistema WMS en contenedores Docker y servicios MCP Bridge para conectar datos de negocio locales con llamadas a herramientas de LLM; incluye adaptador de corriente dedicado.
-
reTerminal D1001 Pantalla táctil inteligente de 8 pulgadas
Interfaz hombre-maquina de estacion de trabajo, entrada de datos de negocio de almacenamiento y monitoreo de estado
Terminal táctil industrial inteligente de 8 pulgadas con cámara y micrófono dual. Actúa como HMI de puesto de trabajo para entrada de datos de almacén y monitorización, conectándose directamente al host para mostrar la consola y los registros.
-
reComputer J4012 (Jetson Orin NX 16 GB)
Host de computación de borde avanzada L3 para desplegar la canalización de voz offline
Proporciona 100 TOPS de potencia perimetral con entornos JetPack, CUDA y TensorRT preconfigurados, desplegando un pipeline de IA de voz completamente local y funcional sin conexión a internet.
Adicionalmente se incluyen monitor portatil de sitio (13.3" 1080P), router CUDY AX3000 Wi-Fi 6, regleta de alimentacion, cables de red gigabit categoria 6, paquete de materiales de simulacion practica de WMS de gestion inteligente de almacenes (etiquetas de codigo de barras/etiquetas de ubicacion/cajas de muestra fisicas), soporte de escritorio Watcher y otros accesorios generales.
De la configuración multimodal en la nube al despliegue local sin conexión
SenseCraft AI se encarga de la configuración y validación rápidas, el puente MCP mantiene los datos de negocio en la LAN y el pipeline offline de Jetson elimina por completo la dependencia de internet.
-
SenseCraft AI + Watcher
Grandes modelos en nube + terminal multimodal en dispositivo · configuración sin código
- Configuración de red y vinculación Watcher
- Configuracion de modelo visual y rol de Agent
- Experiencia de consulta por voz y llamadas a herramientas MCP
-
MCP Bridge + Docker + OpenClaw
Puente con protocolos estándar · Los datos operativos nunca salen de la red interna
- Despliegue Docker de WMS local
- Configuración config.yml del puente MCP
- Registro e integración de herramientas de automatización OpenClaw
-
Jetson Orin NX + pipeline de voz offline
Flujo completo puramente local VAD → ASR → LLM → TTS · Cero dependencia de internet
- Verificación de entorno JetPack
- Despliegue de modelo cuantizado y optimizacion de memoria de video
- Integracion sin red y optimizacion de latencia
Punto de inflexión clave · de la colaboración en nube al despliegue privatizado local y offline La solución en la nube SenseCraft AI permite validar prototipos con rapidez; el puente MCP mantiene el inventario y los registros en la red local; la canalización offline con Jetson elimina dependencias externas para operar en redes aisladas y de alta privacidad.
L1/L2 requieren conexión a internet para los servicios LLM; L3 necesita 100 TOPS de potencia en el borde (Jetson Orin NX 16GB); el procesador RK3588-40 (6 TOPS) no admite inferencia de LLM en local.
Temario y formatos
15 unidades didácticas en total. Primero, los formatos de impartición; el temario completo se despliega abajo.
Sesión de Iniciación
Sin proyecto final1 día · 6–8h · Capa L1 · Centrado en la experiencia en el borde y demostración de herramientas MCP
Curso Práctico
Con proyecto final2–3 días · 14–20h · L1+L2 · Configuración de Watcher + despliegue WMS local + puente MCP + automatización
Curso de Entrega
Con proyecto final3–5 días · 24–35h · L1+L2+L3 · Cobertura integral con canalización de voz offline en Jetson y pruebas desconectadas
La solución de colaboración en nube L1/L2 requiere que el sitio cuente con ancho de banda de internet ascendente estable para llamadas a la plataforma SenseCraft AI y servicios de grandes modelos; en entornos sin internet L1/L2 no pueden ejecutarse y se debe cambiar a la solución offline L3.
La precision del reconocimiento de voz se ve afectada por el ruido de fondo del entorno, los acentos dialectales y el vocabulario profesional de la industria; en sitios industriales de alto ruido se requiere configurar equipos de captacion direccional, no se garantiza el efecto de captacion ciega de campo lejano.
La solución puramente local L3 depende de hardware GPU en el borde de nivel 100 TOPS (Jetson Orin NX 16GB o superior), el RK3588-40 de 6 TOPS no puede soportar inferencia de grandes modelos locales.
La clase de experiencia no incluye despliegue de sistemas de negocio locales ni pipeline de voz offline; no prometa al cliente que los estudiantes de la clase de experiencia pueden completar de forma independiente el despliegue WMS o la construcción de pipeline offline — ese es el estándar de entrega de la clase práctica y la clase de entrega.
Una de las clases · 01
Preparación previa al curso y verificación de entorno
Inventario del banco de trabajo, verificación de red, revisión del firmware de Watcher, imágenes Docker y WMS en RK3588-40, preparación de JetPack en J4012 y materiales didácticos
—
Ver el temario completo de 15 unidades y el calendario de cada formato
| Módulo / Entregable | Iniciación1 día | Práctica2–3 días | Entrega3–5 días | ||
|---|---|---|---|---|---|
| 01 | Preparación previa al curso y verificación de entornoInventario del banco de trabajo, verificación de red, revisión del firmware de Watcher, imágenes Docker y WMS en RK3588-40, preparación de JetPack en J4012 y materiales didácticos | — | Completo | Completo | Completo |
| 02 | Arquitectura de interacción multimodal y conceptos centralesAnálisis de visión en el borde, agentes de voz, protocolo MCP y arquitectura nube-borde; diferencias técnicas y criterios de selección entre despliegue en la nube y offline | SenseCraft AI | Completo | Completo | Completo |
| 03 | Experiencia de inferencia visual ligera en dispositivoPrácticas con modelos de detección en Watcher (reconocimiento de piezas, detección de proximidad y gestos), adaptación sin código con SenseCraft AI y formatos de datos por UART/red | SenseCAP Watcher | Completo | Completo | Completo |
| 04 | Preguntas y respuestas por voz contextualizadas y mecanismo de AgentConsultas en tiempo real para logística y retail, ciclo de voz completo (entrada → inferencia → reproducción TTS), configuración de prompts/roles y comparativa de memoria (sin memoria / corto / largo plazo) | SenseCraft AI Agent | Completo | Completo | Completo |
| 05 | Demostración de llamadas a herramientas MCP e integración operativaDemostración de llamadas a herramientas externas con MCP (consultas a base de datos de almacén), flujo completo de almacén inteligente y automatización con OpenClaw | MCP / OpenClaw | Completo | Completo | Completo |
| 06 | IA de visión en Watcher y configuración de red localConexión de red de Watcher y vinculación a SenseCraft, selección de modelos de visión y ajuste de umbrales, y reglas de notificación de eventos (presencia, detección de zonas) | SenseCraft AI / Watcher | No incluido | Completo | Completo |
| 07 | Configuración de Agent de voz y prompts de rolDefinición de roles del Agent (asistente de almacén / guía de exposición), configuración de System Prompt y estilo conversacional, y validación de modos de memoria | SenseCraft AI Agent | No incluido | Completo | Completo |
| 08 | Despliegue con Docker del sistema de gestión localDespliegue del sistema WMS de prueba (suharvest/warehouse_system) con Docker y Git en RK3588-40, configuración del panel de control, generación de claves API e importación de datos | Docker / WMS | No incluido | Completo | Completo |
| 09 | Configuración y pruebas del servicio de puente MCPObtención de endpoints y credenciales MCP para Watcher, configuración de config.yml con URL y claves de la API local, inicio del servicio MCP Bridge y validación de conectividad | MCP Bridge | No incluido | Completo | Completo |
| 10 | Integración de tareas automatizadas con OpenClawDespliegue del entorno de automatización OpenClaw, registro de scripts como herramientas MCP y configuración de comandos de voz para consultas programadas y tareas | OpenClaw | No incluido | Completo | Completo |
| 11 | Integración de cadena completa y depuración de fallosValidación de comandos operativos habituales (consulta de stock, registro de entradas, seguimiento) y resolución de problemas de timeout, fallos de autenticación o puertos | — | No incluido | Completo | Completo |
| 12 | Analisis de arquitectura de pipeline de voz offline localAnálisis de responsabilidades y latencias en cada módulo (VAD/ASR/LLM/TTS); comparativa entre arquitectura local y en la nube (latencia, concurrencia, memoria de vídeo y privacidad) | — | No incluido | No incluido | Completo |
| 13 | Entorno de ejecución Jetson y ajuste en el despliegue de modelosValidación del entorno JetPack/CUDA/TensorRT/PyTorch, despliegue de ASR (Whisper/FunASR), LLM local cuantizado a 4 bits (Qwen2.5-7B-Instruct) y motores TTS (ChatTTS/Piper), y enrutamiento del audio de Watcher | Jetson Orin NX | No incluido | No incluido | Completo |
| 14 | Integracion sin red y optimizacion de latenciaVerificacion de operacion de ciclo cerrado autonomo de red local mediante desconexion fisica de internet, medicion de tiempo de cada etapa, optimizacion de longitud de contexto y parametros de muestreo del modelo | — | No incluido | No incluido | Completo |
| 15 | Revisión de soluciones y resumen de entregaPresentación de proyectos por equipos, comparativa de costes y arquitectura (SaaS en la nube frente a computación en el borde), estándares de ampliación de APIs y archivo documental | — | Reducido | Completo | Completo |
● Completo◐ Reducido— No incluido●＋ Más profundo que la versión completa
El curso de toma de contacto (taster) se centra en la experiencia L1 en el dispositivo y demos de MCP, sin despliegue de WMS local ni canalización offline; el curso práctico (workshop) cubre L1+L2 con configuración de Watcher, WMS y puente MCP; el intensivo (bootcamp) abarca L1+L2+L3 completo con la canalización offline en Jetson.
Sesión de Iniciación
- Día 1 mañanaMódulos 01 + 02 + 03
Verificacion previa del entorno → conceptos de arquitectura multimodal → experiencia de inferencia visual en dispositivo
- Día 1 tardeMódulos 04 + 05 + 15 (simplificado)
Preguntas y respuestas por voz con Agent → Demostración de herramientas MCP e integración operativa → Resumen y conclusiones
No incluye despliegue de sistemas de negocio locales ni pipeline de voz offline.
Curso Práctico
- Day 1Módulos 01–05
Verificacion previa del entorno → arquitectura multimodal → vision en dispositivo → Agent de voz → demostracion de llamadas a herramientas MCP
- Day 2Módulos 06–09
Configuración de visión en Watcher → Prompts de rol de Agent → Despliegue de WMS en Docker → Pruebas de integración MCP
- Día 3 (opcional)Modulos 10 + 11 + 15
Vinculación de automatización OpenClaw → integración de cadena completa → revisión de solución y resumen de entrega
El curso práctico entrega 1 entorno funcional de sistema multimodal con percepción visual, Agent de voz, WMS local y automatización. Requisitos: nociones de Docker y consumo de REST API.
Curso de Entrega
- Day 1–2Modulos 01–11
Contenido completo L1+L2 (experiencia en dispositivo + configuración Watcher + despliegue WMS + puente MCP + integración de cadena completa)
- Day 3Modulo 12
Analisis de arquitectura de pipeline de voz offline local
- Day 4Modulo 13
Entorno de ejecución Jetson y optimización de despliegue de modelos ASR/LLM/TTS
- Day 5Modulos 14 + 15
Integracion sin red y optimizacion de latencia → revision de solucion y archivo de entrega
El objetivo del curso intensivo es capacitar para entregar soluciones de IA en entornos industriales aislados y con altos requisitos de privacidad. Requisitos: conocimientos de Linux, PyTorch / Jetson, manejo de shell y dominio de L1–L2.
El curso de iniciación dura un día, no requiere desplegar sistemas de negocio y llega hasta «la voz consulta y la visión dispara acciones». Es adecuado para ferias, jornadas de puertas abiertas y primeros contactos con un cliente.
El Day 3 de la clase práctica es un día flexible opcional: si los estudiantes tienen buena base puede comprimirse a 2 días (la tarde del Day 2 combina OpenClaw y la integración de cadena completa); si se necesita más tiempo para la optimización del puente MCP se usan los 3 días completos.
Qué se lleva al terminar
Lo siguiente corresponde a la entrega de la versión completa (clase de entrega); la clase práctica entrega los primeros 4 elementos; la clase de experiencia entrega la versión reducida de los elementos 1 y 2.
- 01
Manual de configuración de hardware y parámetros de visión para Watcher
Incluye registro de configuración de red del dispositivo Watcher, selección de modelo visual y parámetros de confianza/umbral de activación, lista de configuración de reglas de reporte de eventos.
- 02
Archivos de configuración de prompts y estrategias de memoria para Agent multimodal
Incluye System Prompt de rol de Agent, configuración de estilo de interacción, configuración de modos de memoria de diálogo (sin memoria/corto plazo/largo plazo) y registro de verificación de efectos.
- 03
Guía de despliegue para el sistema de negocio local y el servicio de puente MCP
Incluye archivo de despliegue Docker Compose, pasos de inicialización de consola de administración WMS, plantilla de configuración config.yml de MCP Bridge y especificaciones de gestión de API Key.
- 04
Scripts de configuración de herramientas de automatización OpenClaw
Incluye pasos de despliegue del entorno OpenClaw, configuración para registrar scripts de automatización como herramientas invocables por MCP, ejemplos de configuración para activación de consultas de automatización y tareas programadas mediante comandos de voz.
- 05
Manual de despliegue y optimización de la canalización de IA de voz local (L3)
Incluye pasos de despliegue de cada módulo VAD→ASR→LLM→TTS, parámetros de asignación de memoria de video Jetson y optimización de modelos cuantizados, registro de pruebas de integración sin red y informe de pruebas de latencia de extremo a extremo.
Proyectos de código abierto que podrá reproducir
Estos proyectos usan el mismo hardware y los mismos métodos que el curso, y lo aprendido en clase se incorpora de vuelta a ellos.
Almacén operado por voz
Basta hablarle a un Watcher para registrar entradas, salidas o consultar existencias; la pantalla informa la cantidad y el total actual. Todo el sistema puede desplegarse en local.
Servicio de voz local
Reconocimiento y síntesis de voz en streaming sobre Jetson Orin, RK3576, RK3588 y Raspberry Pi, con latencia inferior a 180 ms en Jetson y sin depender de la nube.
Conectar la interacción física en el extremo con la lógica empresarial existente
M2 se centra en vincular profundamente la percepción visual, la interacción por voz y los sistemas de gestión existentes (como WMS y ERP). El curso guía a través de la integración de terminales físicos, llamadas a herramientas MCP y despliegues sin conexión en red local, facilitando un entorno listo para verificar.
Punto de extensión 01
Adaptar a las condiciones del sitio
El contenido de consulta por voz de la unidad 04 es totalmente personalizable. El docente puede sustituir el inventario por visitas guiadas, rondas de mantenimiento o reserva de salas, enseñando a diseñar diálogos adaptados a operaciones reales.
Punto de extensión 02
Conectar sistemas
Tras la unidad 08, el instructor puede sustituir el inventario de ejemplo por el sistema del laboratorio o APIs empresariales reales, practicando la consulta y actualización de datos mediante voz natural.
Punto de extensión 03
Aportar Experiencia Docente
Explica las limitaciones del entorno real —ruido de fondo, límites de captación lejana y prevención de alucinaciones al invocar herramientas— para que el alumnado distinga un entorno productivo de un prototipo de laboratorio.
Límites de Alcance y Cumplimiento
Los datos de negocio L1/L2 circulan dentro de la red local mediante el puente MCP local, los datos centrales no salen del dominio; L3 se ejecuta puramente local y offline, con cero dependencia de red pública.
Alcance
- Percepcion de objetos en sitio y preguntas y respuestas por voz de negocio estructuradas
- Llamadas a herramientas de sistemas WMS/ERP/CRM basadas en protocolo MCP
- Activacion por eventos de vision en el borde y vinculacion de tareas de automatizacion
- Interaccion multimodal en escenarios como almacenamiento inteligente, guia de salas de exposicion y recepcion inteligente
- Interacción de voz puramente local y offline en entornos de alta privacidad y redes aisladas industriales (L3)
Fuera de Alcance
- No sustituye los sistemas dedicados de atención al cliente humana de alta concurrencia y enlaces largos
- No garantiza el 100% de precisión deductiva en lógicas subjetivas, ambiguas o de múltiples turnos
- No incluye ingeniería inversa ni desarrollo sobre sistemas heredados cerrados sin API accesible
- No es aplicable a la captación ciega de campo lejano en sitios industriales de alto ruido (se requiere configurar captación direccional)
- Las arquitecturas L1/L2 dependen de conexión a internet para los servicios LLM; sin acceso exterior, debe adoptarse la alternativa desconectada L3
- La solución offline L3 requiere 100 TOPS en el borde (Jetson Orin NX 16GB o superior); RK3588-40 (6 TOPS) no admite inferencia de LLM en local
- La precision del reconocimiento de voz se ve afectada por el ruido de fondo del entorno, los acentos dialectales y el vocabulario profesional de la industria; no se garantiza un indicador de precision de reconocimiento en escenarios especificos
Incorpore M2 a su programación
El presupuesto depende del formato y del tamaño de la clase. Indíquenos por correo el número de participantes y el nivel deseado y enviaremos una propuesta en 3 días hábiles.