Interação Multimodal com IA
Com base em terminais de IA físicos, integra visão de borda, voz e APIs de sistemas de negócio para permitir interação espacial multimodal.
Na gestão de armazéns, visitas guiadas e recepções inteligentes, consultar dados exige interromper o trabalho manual para digitar em celulares ou teclados, limitando a eficiência. Terminais tradicionais não têm contexto visual e não reagem à aproximação de pessoas nem detectam ações anômalas. Muitos dispositivos inteligentes operam em ecossistemas fechados difíceis de integrar aos sistemas WMS, ERP e CRM legados; determinados ambientes industriais e corporativos proíbem o envio de áudio e dados corporativos para a nuvem pública.
- Dificuldade
- Avançado
- Duração
- L1 1 dia / L2 2–3 dias / L3 3–5 dias
- Formato Mais Curto
- 1 dia (aula experimental · L1)
- Formato de Ensino
- 3 camadas: experimental / prático / de entrega
- Protocolo central
- MCP / REST API / Wi-Fi
- Computação offline L3
- 100 TOPS（Jetson Orin NX 16GB）
- Trilha
- Criar produtos com IA
- Para quem é este curso
- Consultores de solução e vendas comerciais · Instrutores de treinamento prático e equipe pedagógica · Engenheiros de informatização e inteligência empresarial · Professores e alunos de escolas técnicas e universidades aplicadas
- Pré-requisitos
- L1 indicado para iniciantes ou quem nunca teve contato com dispositivos de IA de borda; L2 exige noções de Docker e consumo de REST APIs; L3 requer fundamentos de Linux, PyTorch / Jetson e operação via Shell
Cenários típicos de aplicação
- Armazenagem inteligente e gestão de oficina: consulta de estoque sem operação manual, registro de entrada/saída por voz, alerta visual de materiais anômalos
- Exposições e guias públicos: detecção proativa de presença, explicação por voz em múltiplos idiomas, controle vinculado de estandes
- Recepção inteligente e espaços de reunião: recepção de visitantes, controle por voz de equipamentos do espaço, consulta automatizada de agenda
- Cuidados assistidos e serviços espaciais: alarme por detecção de comportamentos específicos, pedido de ajuda por voz e vinculação remota
- Interação por voz em zonas industriais isoladas: consulta por voz offline puramente em rede local e relato de status de dispositivos
Três níveis e até onde cada um leva
- L1 Nível Demonstração 1 dia
Experiência de capacidades de interação multimodal
Consulte dados e controle dispositivos falando com o Watcher
- Compreender a arquitetura técnica que une visão de borda e agentes baseados em LLM
- Dominar o papel essencial do protocolo MCP na integração entre IA embarcada e sistemas corporativos
- Dominar os critérios de seleção entre arquitetura nuvem-borda e implantação local conforme o cenário
- L2 Nível Consultor 3 dias
Integração de sistemas de negócios e configuração de vinculação
Conecte a voz ao armazém e a outros sistemas de negócio via MCP
- Configurar de forma independente os parâmetros de visão e voz do Agent no Watcher
- Dominar a implantação via Docker de sistemas locais e serviços de integração MCP
- Dominar a expansão de novas APIs de negócios através do protocolo MCP
- L3 Nível Design 5 dias
Implantação de pipeline de IA de voz local offline ponta a ponta
Execute todo o pipeline de voz localmente: funciona offline e os dados não saem da intranet
- Dominar a arquitetura completa do pipeline de voz local ponta a ponta (VAD → ASR → LLM → TTS)
- Dominar a quantização, implantação e otimização de modelos LLM em hardware de borda Jetson
- Capacidade de entregar soluções de interação com IA em ambientes industriais isolados e com rígidas exigências de privacidade
O que saberão fazer ao concluir
- Detecção de objetos por visão de borda e acionamento de eventos
- Consultas por voz em linguagem natural e configuração de papéis de Agent
- Chamada de ferramentas em sistemas de negócios baseada no protocolo MCP
- Implantação via Docker do sistema WMS local e integração de API
- Implantação de pipeline de IA de voz puramente local e offline (VAD → ASR → LLM → TTS)
Hardware e cadeia de ferramentas
Este curso usa como ferramenta de ensino central os "terminais de IA visíveis + poder computacional de inferência local".
- WATCHER SenseCAP Watcher (versão em inglês) Terminal de interacao multimodal de borda · entrada de aquisicao de voz e reconhecimento visual
- GW reComputer RK3588-40 Controlador inteligente de borda · Host de sistemas corporativos e ponte MCP
- HMI reTerminal D1001 Tela sensível ao toque industrial de 8 polegadas · IHM de posto de trabalho
- GPU reComputer J4012 (Jetson Orin NX 16GB) Host de computação avançada L3 · Pipeline de voz local offline
Lista ilustrada de 4 dispositivos
-
SenseCAP Watcher (versão em inglês)
Terminal de interação multimodal de borda, ponto de entrada para captura de voz e reconhecimento visual
Integra captura de áudio/vídeo e tela, com suporte a detecção de objetos, presença humana e interação por voz em linguagem natural via Wi-Fi com SenseCraft AI; 2 unidades por equipe.
-
Controlador Inteligente de Borda reComputer RK3588-40
Host de borda que executa sistemas corporativos e serviço de ponte MCP
Equipado com 16 GB de RAM e 6 TOPS de processamento, executa sistema WMS conteinerizado em Docker e serviços MCP Bridge para integrar dados locais de negócios a chamadas de ferramentas de LLM; inclui adaptador de energia dedicado.
-
reTerminal D1001 Tela sensível ao toque inteligente de 8 polegadas
Interface humano-computador da estação de trabalho, entrada de dados de negócios de armazenamento e monitoramento de status
Terminal de toque industrial inteligente de 8 polegadas com câmera e microfone duplo. Atua como IHM de bancada para entrada de dados de armazém e monitoramento de status, conectando-se diretamente ao host para exibir painéis WMS e registros.
-
reComputer J4012（Jetson Orin NX 16GB）
Host de computação de borda avançada L3 para implantação de pipeline de voz offline
Oferece 100 TOPS de capacidade computacional de borda com ambientes JetPack, CUDA e TensorRT pré-configurados, executando pipeline de IA de voz 100% local e estável mesmo sem conexão à internet.
São configurados adicionalmente monitor portátil de campo (13,3" 1080P), roteador CUDY AX3000 Wi-Fi 6, filtro de linha, cabos de rede gigabit Cat6, pacote de materiais para simulação prática de WMS de armazenamento inteligente (etiquetas de código de barras/etiquetas de localização/caixas de amostra físicas), suporte de mesa Watcher e outros acessórios comuns.
Da configuração multimodal na nuvem à implantação local offline
O SenseCraft AI cuida da configuração e validação rápidas, a ponte MCP mantém os dados de negócio na LAN e o pipeline offline do Jetson elimina totalmente a dependência da internet pública.
-
SenseCraft AI + Watcher
Modelo de linguagem em nuvem + terminal multimodal de borda · configuracao sem codigo
- Configuração de rede e vinculação Watcher
- Configuracao de modelo visual e papel de Agent
- Experiencia de consulta por voz e chamada de ferramentas MCP
-
MCP Bridge + Docker + OpenClaw
Ponte com protocolos padrão · Dados operacionais nunca saem da rede interna
- Deploy do WMS local via Docker
- Configuração config.yml da ponte MCP
- Registro e integração de ferramentas de automação OpenClaw
-
Jetson Orin NX + pipeline de voz offline
Fluxo puramente local VAD → ASR → LLM → TTS · Zero dependência de internet
- Validação do ambiente JetPack
- Deploy de modelo quantizado e otimizacao de memoria de video
- Integracao sem rede e otimizacao de latencia
Ponto de virada critico · da colaboracao em nuvem para o deploy privado local offline A solução em nuvem SenseCraft AI valida protótipos rapidamente; a ponte MCP mantém estoque e registros restritos à rede local; o pipeline offline no Jetson elimina dependências externas para operar em redes isoladas com total privacidade.
L1/L2 exigem conexão à internet para os serviços de LLM; L3 requer 100 TOPS de computação de borda (Jetson Orin NX 16GB); o RK3588-40 (6 TOPS) não comporta inferência local de LLM.
Programa e formatos
15 unidades de ensino no total. Primeiro, os formatos de oferta; o programa completo se expande abaixo.
Sessão Experimental
Sem projeto final1 dia · 6–8h · Camada L1 · Focado na experiência de borda e demonstração de ferramentas MCP
Aula prática
Com projeto final2–3 dias · 14–20h · L1+L2 · Configuração do Watcher + implantação de WMS local + ponte MCP + automação
Aula de entrega
Com projeto final3–5 dias · 24–35h · L1+L2+L3 · Cobertura completa com pipeline de voz offline no Jetson e testes isolados
A solução de colaboração em nuvem L1/L2 requer que o local tenha banda de internet de uplink estável, para chamadas à plataforma SenseCraft AI e serviços de modelos de linguagem; em ambiente sem internet, L1/L2 não podem ser executados, sendo necessário alternar para a solução offline L3.
A precisao do reconhecimento de voz e afetada pelo ruido de fundo do ambiente no local, sotaques dialetais e vocabulario profissional do setor; em ambientes industriais de alto ruido, e necessario configurar dispositivo de captação direcional, nao garante efeito de captacao cega de campo distante.
A solução puramente local L3 depende de hardware GPU de borda de nível 100 TOPS (Jetson Orin NX 16GB ou superior), o RK3588-40 de 6 TOPS não suporta inferência de modelos de linguagem locais.
A aula experimental nao inclui implantacao de sistema de negocios local nem pipeline de voz offline; por favor, nao prometa ao cliente que os alunos da aula experimental conseguem concluir independentemente a implantacao WMS ou a construcao de pipeline offline — esses sao os padroes de entrega das aulas pratica e de entrega.
Uma das aulas · 01
Preparação pré-aula e verificação prévia de ambiente
Conferência da bancada, testes de conectividade, verificação de firmware do Watcher, preparação de imagens Docker e WMS no RK3588-40, ambiente JetPack no J4012 e materiais didáticos
—
Ver o programa completo de 15 unidades e o cronograma de cada formato
| Módulo / Resultado | Experimental1 dia | Prático2–3 dias | Entrega3–5 dias | ||
|---|---|---|---|---|---|
| 01 | Preparação pré-aula e verificação prévia de ambienteConferência da bancada, testes de conectividade, verificação de firmware do Watcher, preparação de imagens Docker e WMS no RK3588-40, ambiente JetPack no J4012 e materiais didáticos | — | Completo | Completo | Completo |
| 02 | Arquitetura de interacao multimodal e conceitos centraisAnálise de visão de borda, agentes de voz, protocolo MCP e arquitetura nuvem-borda; diferenças técnicas e critérios de decisão entre operação em nuvem e offline | SenseCraft AI | Completo | Completo | Completo |
| 03 | Experiencia de inferencia de visao leve de bordaPrática com detecção de objetos no Watcher (identificação de peças, proximidade e gestos), adaptação sem código no SenseCraft AI e formatos de dados via UART/rede | SenseCAP Watcher | Completo | Completo | Completo |
| 04 | Perguntas e respostas por voz contextualizadas e mecanismo de AgentConsultas em tempo real para estoque e varejo, ciclo de voz completo (entrada → inferência → reprodução TTS), definição de prompts e papéis, e comparação de memória (sem memória / curto / longo prazo) | SenseCraft AI Agent | Completo | Completo | Completo |
| 05 | Demonstração de ferramentas MCP e integração operacionalDemonstração de chamadas a ferramentas externas via MCP (consultas ao banco de dados), fluxo completo de gestão de estoque e automação integrada com OpenClaw | MCP / OpenClaw | Completo | Completo | Completo |
| 06 | IA de visão no Watcher e configuração de rede localConexão de rede do Watcher e vinculação ao SenseCraft, seleção de modelos de visão e ajuste de limiares, e regras de notificação de eventos (presença, detecção de áreas) | SenseCraft AI / Watcher | Não inclui | Completo | Completo |
| 07 | Configuração do Agent de voz e prompts de papelDefinição de papéis do Agent (assistente de estoque / guia de showroom), configuração de System Prompt e estilo conversacional, e validação de modos de memória | SenseCraft AI Agent | Não inclui | Completo | Completo |
| 08 | Implantação via Docker do sistema de gestão localImplantação do WMS de exemplo (suharvest/warehouse_system) com Docker e Git no RK3588-40, inicialização administrativa, geração de chaves de API e importação de dados de estoque | Docker / WMS | Não inclui | Completo | Completo |
| 09 | Configuração e testes do serviço de integração MCPObtenção de endpoints e credenciais MCP para Watcher, edição de config.yml com endereços e chaves de API locais, inicialização do serviço MCP Bridge e validação de comunicação | MCP Bridge | Não inclui | Completo | Completo |
| 10 | Integração de tarefas automatizadas com OpenClawImplantação do ambiente de automação OpenClaw, registro de scripts como ferramentas MCP e configuração de comandos de voz para consultas e rotinas agendadas | OpenClaw | Não inclui | Completo | Completo |
| 11 | Integracao e depuracao de cadeia completa e solucao de falhasValidação de fluxos operacionais típicos (consulta de estoque, registro de entrada, rastreamento) e resolução de falhas comuns de rede, autenticação ou conflitos de porta | — | Não inclui | Completo | Completo |
| 12 | Analise da arquitetura do pipeline de voz local offlineAnálise de funções e latências em cada módulo (VAD/ASR/LLM/TTS); comparativo entre arquiteturas local e em nuvem (latência, concorrência, memória de vídeo e conformidade) | — | Não inclui | Não inclui | Completo |
| 13 | Ambiente de execução no Jetson e ajuste fino de implantaçãoValidação do ambiente JetPack/CUDA/TensorRT/PyTorch, implantação de ASR (Whisper/FunASR), LLM local quantizado em 4 bits (Qwen2.5-7B-Instruct) e motores TTS (ChatTTS/Piper), e direcionamento do áudio do Watcher | Jetson Orin NX | Não inclui | Não inclui | Completo |
| 14 | Integracao sem rede e otimizacao de latenciaValidacao de operacao de ciclo fechado autonomo da rede local com desconexao fisica da internet, teste de tempo gasto em cada etapa, otimizacao do comprimento de contexto do modelo e parametros de amostragem | — | Não inclui | Não inclui | Completo |
| 15 | Revisão da solução e resumo de entregaApresentações das equipes, análise comparativa de custos e arquitetura (SaaS na nuvem vs. borda local), padrões de expansão de APIs e arquivamento da documentação | — | Reduzido | Completo | Completo |
● Completo◐ Reduzido— Não inclui●＋ Mais aprofundado que o completo
O curso de degustação (taster) foca na experiência L1 no dispositivo e demonstrações MCP, sem implantação de WMS local ou pipeline offline; o workshop prático cobre L1+L2 com configuração de Watcher, WMS e ponte MCP; o intensivo (bootcamp) abrange L1+L2+L3 completo com o pipeline offline no Jetson.
Sessão Experimental
- Dia 1 manhãMódulos 01 + 02 + 03
Pre-verificacao ambiental → conceito de arquitetura multimodal → experiencia de inferencia de visao de borda
- Dia 1 tardeMódulos 04 + 05 + 15 (compacto)
Perguntas e respostas por voz com Agent → Demonstração de ferramentas MCP e integração operacional → Revisão e encerramento
Nao inclui implantacao de sistema de negocios local nem pipeline de voz offline.
Aula prática
- Day 1Módulos 01–05
Pre-verificacao ambiental → arquitetura multimodal → visao de borda → Agent de voz → demonstracao de chamada de ferramentas MCP
- Day 2Módulos 06–09
Configuração de visão no Watcher → Prompts de papel do Agent → Implantação de WMS em Docker → Testes de integração MCP
- Dia 3 (opcional)Modulos 10 + 11 + 15
Vinculação de automação OpenClaw → integração de cadeia completa → revisão de solução e resumo de entrega
O workshop prático entrega 1 ambiente funcional com percepção visual, Agent de voz, WMS local e automação. Pré-requisitos: fundamentos de Docker e uso de REST APIs.
Aula de entrega
- Day 1–2Modulos 01-11
Conteúdo completo L1+L2 (experiência de borda + configuração Watcher + implantação WMS + ponte MCP + integração de cadeia completa)
- Day 3Modulo 12
Analise da arquitetura do pipeline de voz local offline
- Day 4Modulo 13
Ambiente de execução Jetson e implantação/otimização de modelos ASR/LLM/TTS
- Day 5Modulos 14 + 15
Integracao sem rede e otimizacao de latencia → revisao de solucao e arquivamento de entrega
O objetivo do curso intensivo é capacitar para entrega de soluções de IA em ambientes industriais isolados e com rígidas exigências de privacidade. Pré-requisitos: Linux, PyTorch / Jetson, operação em Shell e domínio de L1–L2.
O curso introdutório dura um dia, não exige implantar sistemas de negócio e vai até “a voz consulta e a visão dispara ações”. É indicado para feiras, dias de portas abertas e primeiros contatos com um cliente.
O Dia 3 da aula pratica e um dia elastico opcional: se os alunos tiverem boa base, pode ser comprimido para 2 dias (a tarde do Dia 2 combina OpenClaw e integracao de cadeia completa); se for necessario mais tempo para ajuste de ponte MCP, use os 3 dias completos.
O que você leva ao concluir
A seguir estao as entregas da versao completa (aula de entrega); a aula pratica entrega os primeiros 4 itens; a aula experimental entrega a versao simplificada dos itens 1 e 2.
- 01
Manual de configuração de hardware e parâmetros de visão para Watcher
Inclui registro de configuracao de rede do dispositivo Watcher, selecao de modelo visual e parametros de limiar de confianca/acionamento, lista de configuracao de regras de relato de eventos.
- 02
Arquivos de configuração de prompts e estratégias de memória para Agent multimodal
Inclui System Prompt de papel de Agent, definicao de estilo de interacao, configuracao de modo de memoria de dialogo (sem memoria/curto prazo/longo prazo) e registro de validacao de efeitos.
- 03
Guia de implantação do sistema de negócios local e serviço de ponte MCP
Inclui arquivo de deploy Docker Compose, passos de inicializacao do console de gerenciamento WMS, modelo de configuracao config.yml do MCP Bridge e normas de gerenciamento de API Key.
- 04
Scripts de configuração de ferramentas de automação OpenClaw
Inclui passos de deploy do ambiente OpenClaw, configuracao de registro de scripts de automacao como ferramentas chamaveis por MCP, exemplo de configuracao de consulta de automacao acionada por comando de voz e tarefas agendadas.
- 05
Manual de implantação e ajuste fino do pipeline de IA de voz local (L3)
Inclui passos de deploy de cada modulo VAD→ASR→LLM→TTS, parametros de alocacao de memoria de video Jetson e otimizacao de modelo quantizado, registro de teste de integracao sem rede e relatorio de teste de latencia ponta a ponta.
Projetos de código aberto que você poderá reproduzir
Estes projetos usam o mesmo hardware e os mesmos métodos do curso, e o que aprendemos em aula volta para eles.
Armazém operado por voz
Basta falar com um Watcher para registrar entradas, saídas ou consultar o estoque; a tela informa a quantidade e o total atual. Todo o sistema pode ser implantado localmente.
Serviço de voz local
Reconhecimento e síntese de voz em streaming em Jetson Orin, RK3576, RK3588 e Raspberry Pi, com latência abaixo de 180 ms no Jetson e sem depender da nuvem.
Conectar a interação física na ponta com a lógica de negócios existente da empresa
O M2 foca em integrar profundamente a percepção visual, interação por voz e sistemas corporativos legados (como WMS e ERP). O curso conduz os participantes pela integração de terminais físicos, invocação de ferramentas MCP e implantações offline em rede local, fornecendo aos instrutores um ambiente pronto para validação.
Ponto de extensão 01
Adaptar às condições do local
A consulta por voz da unidade 04 é totalmente personalizável. O professor pode substituir o inventário por mediação em museus, inspeções preventivas de máquinas ou agendamento de salas, capacitando para fluxos de diálogo alinhados à realidade.
Ponto de extensão 02
Conectar sistemas
Após a unidade 08, o instrutor pode substituir o inventário de exemplo pelo almoxarifado do laboratório ou APIs corporativas reais, exercitando a consulta e atualização de dados por diálogo falado natural.
Ponto de extensão 03
Integrar Experiência Docente
Aborda detalhes operacionais críticos — ruído de fundo, alcance de captação de áudio e mitigação de alucinações na invocação de ferramentas —, mostrando com clareza a diferença entre o ambiente real e um protótipo de bancada.
Limites de Escopo e Conformidade
Os dados de negócios L1/L2 fluem na rede local via ponte MCP local, os dados centrais não saem do domínio; L3 executa puramente local offline, com zero dependência de rede pública.
No Escopo
- Percepcao de objetos no local e perguntas e respostas por voz de negocios estruturadas
- Chamada de ferramentas de sistemas WMS/ERP/CRM baseada em protocolo MCP
- Acionamento de eventos visuais de borda e vinculacao de tarefas de automacao
- Interacao multimodal em cenarios como armazenamento inteligente, guia de exposicao, recepcao inteligente
- Interacao de voz puramente local offline em ambientes de forte privacidade e rede isolada industrial (L3)
Fora do Escopo
- Não substitui sistemas dedicados de atendimento humano de alta concorrência e longa cadeia
- Não garante 100% de precisão de raciocínio para lógicas subjetivas, ambíguas ou de múltiplos turnos
- Não contempla engenharia reversa nem desenvolvimento sobre sistemas legados fechados sem APIs disponíveis
- Não se aplica à captação cega de campo distante em ambientes industriais de alto ruído (requer configuração de captação direcional)
- As arquiteturas L1/L2 dependem de acesso à internet para serviços de LLM; sem rede externa, é necessário adotar a opção offline L3
- A solução offline L3 requer 100 TOPS de computação de borda (Jetson Orin NX 16GB ou superior); o RK3588-40 (6 TOPS) não comporta inferência local de LLM
- A precisao do reconhecimento de voz e afetada pelo ruido de fundo do ambiente no local, sotaques dialetais e vocabulario profissional do setor; nao garante indicador de precisao de reconhecimento em cenarios especificos
Inclua o M2 na sua grade
O orçamento depende do formato e do tamanho da turma. Informe por e-mail o número de participantes e o nível desejado e enviaremos uma proposta em até 3 dias úteis.