IA de Visão de Borda
Com base em câmeras de borda leves e hosts industriais de computação de IA multicanal, construa soluções de visão de borda para detecção de objetos, alarme de invasão de área e automação vinculada.
Hardware Principal
- CAM-L reCamera 2002w/2002 No de borda leve · inferencia NPU de borda · streaming RTSP
- CAM-H reCamera 2002 HQ PoE 8GB Câmera principal PoE · agregação NVR multicanal
- EDGE reComputer RK3576-30 Host de inferencia leve · 6 TOPS NPU · vinculacao Node-RED
- NVR reServer Industrial J4012 Jetson Orin NX 16GB · agregação multicanal Frigate · TensorRT
- NET Switch Gigabit PoE de 8+2 portas 802.3af/at · alimentação PoE e agregação de tráfego
O que este módulo resolve
O monitoramento tradicional só permite revisão de gravação posterior, incapaz de gerar alarmes estruturados no instante em que o risco ocorre; a detecção de movimento sofre forte interferência de mudanças de luz, chuva e neve, com alta taxa de falsos alarmes. O desenvolvimento personalizado de visão de IA tem ciclos longos, exige engenheiros de algoritmo especializados e racks de servidores dedicados, e os provedores de solução têm dificuldade em equilibrar desempenho e custo entre dispositivos embarcados de ponto único e servidores centralizados multicanais.
- Dificuldade
- Avançado
- Duração
- L1 1 dia / L2 2–3 dias / L3 3–5 dias
- Formato Mais Curto
- 1 dia (aula experimental · L1)
- Formato de Ensino
- 3 camadas: experimental / prático / de entrega
- Duas linhas principais de hardware
- reCamera (nó leve) + Jetson Orin NX (nó forte)
- Protocolo central
- RTSP / MQTT / PoE 802.3af/at / REST API
L1 tem experiência básica em rede e operação de navegador, sabe conectar Wi-Fi e acessar interfaces Web; L2 compreende fundamentos de rede IP, Docker e MQTT, sabe editar arquivos de configuração YAML; L3 tem base em Python e linha de comando Linux, conhece os princípios básicos de detecção de objetos
Cenários típicos de aplicação
Competências-Chave
- Configurar detecção de objetos na borda e streaming RTSP da reCamera
- Orquestrar vinculação entre eventos visuais e alarmes audiovisuais com Node-RED
- Construir agregação multicanal RTSP do Frigate e gerenciamento de gravação NVR
- Configurar zonas de detecção (Zones) e otimizar limiares de confiança
- Integrar automação vinculada entre sistemas com Home Assistant
- Treinar modelo YOLO personalizado e concluir implantação com quantização TensorRT/cvimodel
Hardware do curso
Este curso usa como ferramenta de ensino central as "câmeras de IA open-source + caixas de inferência de borda", cobrindo toda a cadeia de coleta, inferência e alertas.
reComputer RK3576-30 (100052518)
Host leve de inferência visual, 8GB de memória, 6 TOPS de capacidade
Controlador inteligente de borda que executa vinculação de eventos e painel leve de monitoramento de vídeo. Equipado com 8GB de memória e NPU de 6 TOPS, adequado para inferência visual leve e vinculação de eventos com Node-RED nas fases L1/L2. Pode servir como host de implantação leve para Frigate e Home Assistant.
reCamera 2002w/2002 (102991896/102991894)
Nó visual de câmera única, detecção leve de objetos na borda e streaming RTSP
Câmera de IA open-source modular; o modelo 2002w suporta modo Wi-Fi/AP, o 2002 suporta Ethernet com fio de 100Mbps. Com inferência NPU integrada e orquestração sem código via Node-RED, é plug-and-play, adequado para experiência de nó leve único no L1 e automação de borda no L2. Suporta saída de fluxo de vídeo RTSP (porta 554).
reCamera 2002 HQ PoE 8GB (100029708)
Câmera principal para múltiplas câmeras, alimentação e streaming por único cabo PoE
Câmera de IA open-source modular, suporta alimentação e streaming de vídeo por único cabo via switch PoE. Configuração de 8GB de memória, adequada como câmera principal para análise agregada de NVR multicanal. Conecta-se ao Frigate via RTSP, com suporte a configuração de zonas de detecção e limiar de confiança.
Câmera de IA reCamera Pro (100092895)
Câmera de visão de IA open-source de alto desempenho, para desenvolvimento visual avançado e validação de modelos com maior capacidade computacional
Dispositivo de expansão opcional, modelo de alto desempenho da série reCamera, adequado para desenvolvimento visual avançado e validação de modelos com maior capacidade computacional. Pode executar tarefas de inferência de borda mais complexas e validação paralela de múltiplos modelos, como opção de capacidade computacional avançada nas fases L2/L3.
reServer Industrial J4012 (Jetson Orin NX 16GB, 114110247)
Hub de vídeo de alto desempenho, servidor de borda Jetson industrial
Servidor de computação de borda industrial Jetson Orin NX 16GB, executa o Frigate NVR para agregação de detecção multicanal. Suporta decodificação de vídeo por GPU e aceleração por quantização TensorRT, adequado para agregação de fluxos de vídeo multicanal no L2 e implantação de inferência de modelo personalizado no L3. Requer flash da imagem JetPack e configuração do Docker com --runtime nvidia; o Frigate usa a imagem stable-tensorrt-jp6.
Switch Industrial Gigabit PoE de 8+2 portas (802.3af/at)
Alimentação centralizada e rede de alta velocidade
Switch Gigabit PoE de 8+2 portas, em conformidade com o padrão 802.3af/at. Alimenta câmeras PoE e agrega o tráfego da rede local, adequado para implantação centralizada de múltiplas reCamera HQ PoE e cenários de agregação Frigate NVR.
São configurados adicionalmente roteador gigabit CUDY AX3000 Wi-Fi 6, 3× mini tripés (114993412), monitor portátil de campo 13,3" 1080P (com cabo mini HDMI e Type-C), 4× cabos de rede gigabit Cat6 (1m), filtro de linha Bull 3 tomadas + 3× USB, e pacote de materiais para simulação de cenários (adesivos de capacete de segurança/colete refletivo, modelos de peças de teste).
Codecraft ajuda você a "ousar fazer", aily-blockly ajuda você a "concluir"
O M0 não usa o Arduino IDE para escrever C++ manualmente, mas adota a cadeia de ferramentas em dois estágios desenvolvida pela Seeed. A primeira metade: zero instalação, resultados em 5 minutos; a segunda metade: traga o projeto para seu próprio computador, transformando-o em uma engenharia que pode ser levada e continuamente evoluída.
reCamera + Node-RED
Inferencia NPU de borda + orquestracao sem codigo · RTSP/MQTT
- Ligar dispositivo e conectar a rede
- Saída de fluxo de vídeo RTSP
- Detecção de Objetos com Modelo Pré-Treinado
- Vinculação de eventos Node-RED
Frigate NVR + Home Assistant
Decodificacao de hardware RTSP multicanal + deteccao de zona + alerta MQTT
- Integracao RTSP multicanal
- Configuração Zones/Masks
- Ajuste de limiar de confianca
- Vinculação de automação HA
YOLO + TensorRT / cvimodel
Anotacao de dados + aprendizado por transferencia + deploy quantizado
- Aquisicao e anotacao de conjunto de dados
- Treinamento por transferência YOLO
- Exportação ONNX
- Quantização TensorRT/cvimodel
- Execucao pratica de borda
Requer adicionalmente Mosquitto MQTT Broker (para eventos de alerta estruturados, porta 1883), InfluxDB+Grafana (estatisticas de deteccao e painel de serie temporal L3), CVAT/Roboflow (plataforma de anotacao de conjunto de dados L3).
Progressão em três níveis: Demonstração → Consultoria → Design
Experiência de duas linhas e configuração básica
Tenha seu proprio sentinela visual inteligente, delimite zonas de vigilancia e capture automaticamente para registro
- Compreender conceitos centrais de visão como taxa de quadros, resolução, limiar de confiança e IoU
- Concluir independentemente a configuração de rede e saída de fluxo de vídeo do dispositivo reCamera
- Dominar os limites de aplicação e critérios de escolha entre soluções de nó leve e nó robusto
- Concluir a configuração de rede e validação básica de detecção de objetos de 1 nó reCamera
Vinculação de cenários de duas linhas e agregação multicanal
Atualize cameras antigas existentes para uma rede de monitoramento inteligente, filtre falsos positivos e vincule a alarmes sonoros/luminosos no local
- Dominar o uso de Node-RED na reCamera para implementar vinculação local de eventos de borda
- Dominar a configuração multicanal, desenho de zonas e otimização de parâmetros do frigate.yml do Frigate
- Dominar a configuração de vinculação entre Frigate e Home Assistant e a lógica de acionamento de eventos entre sistemas
- Concluir 1 sistema completo com mais de 2 entradas RTSP, detecção Frigate, vinculação HA e otimização de falsos alarmes
Personalização de modelo e otimização de implantação de borda
Personalize modelos exclusivos de reconhecimento visual, dados de negocios em painel grande em tempo real
- Dominar o ciclo de engenharia completo da visão de IA, desde anotação de dados e treinamento de modelo até implantação de borda
- Dominar a cadeia de ferramentas chave para conversão de quantização de modelos TensorRT e embarcados
- Capacidade de projetar e entregar independentemente soluções de detecção visual para setores verticais
- Entregar 1 modelo de detecção de objetos treinado personalizadamente, com validação de execução real no hardware
Curriculum / 15 módulos de ensino
A ordem dos módulos não muda, a divisão é você quem define
Escolha um formato e veja quais módulos ele cobre. A versão completa é o mesmo curso organizado de três maneiras — conteúdo, hardware e entregáveis são idênticos, apenas a divisão difere.
| Módulo / Resultado | Experimental1 dia | Prático2–3 dias | Entrega3–5 dias | ||
|---|---|---|---|---|---|
| 01 | Preparação pré-aula e verificação prévia de ambienteInventario de bancada de hardware, configuracao de ambiente de rede, pre-instalacao de firmware reCamera e validacao de add-ons Node-RED/SSCMA, deploy de conteiner Frigate e configuracao de passagem GPU, distribuicao de materiais didaticos | — | Completo | Completo | Completo |
| 02 | Conceitos centrais de visao de IA e arquitetura de duas linhas principaisTaxa de quadros FPS, resolucao, limiar de confianca, IoU (Intersection over Union); comparacao de indicadores tecnicos, custos e limites de aplicacao entre no leve reCamera e no forte Jetson | — | Completo | Completo | Completo |
| 03 | Configuração de nó leve de ponto único reCameraLigar e conectar à rede (2002w Wi-Fi/AP, 2002 Ethernet 100Mbps, HQ alimentado por switch PoE), acesso à interface Web, validação de fluxo de vídeo RTSP (porta 554), troca de modelos pré-instalados | reCamera Web UI | Completo | Completo | Completo |
| 04 | Deteccao basica de invasao e desenho de zonasDesenho de caixas de deteccao basicas, observacao de eventos acionados por entrada de objetos, observacao de variacao de taxa de quadros e confianca da inferencia NPU de borda | reCamera / SSCMA | Completo | Completo | Completo |
| 05 | Demonstração da arquitetura NVR multicanal JetsonDemonstração de integração multicanal RTSP do Frigate e decodificação de vídeo por GPU, detecção de objetos e gerenciamento de gravação, demonstração de vinculação: detecção de invasão → push MQTT → alarme sonoro/luminoso | Frigate NVR | Reduzido | Completo | Completo |
| 06 | Orquestração de eventos visuais Node-REDConfiguração de nó de modelo SSCMA, filtro de confiança e filtro de tipo de objeto, implantação de painel com imagem em tempo real e status de alerta no Dashboard | Node-RED / SSCMA | Não inclui | Completo | Completo |
| 07 | Vinculacao de alertas multicanalPublicação de mensagens MQTT aciona mudança de cor de lâmpada inteligente e som de buzina; nó Webhook envia alerta para bot de grupo do WeChat Work | Node-RED / MQTT | Não inclui | Completo | Completo |
| 08 | Configuração de câmeras multicanal FrigateAnálise da estrutura de configuração frigate.yml, adição de endereços RTSP de múltiplas reCamera, configuração de taxa de detecção (5–10FPS), definição de Zones e Masks | Frigate / YAML | Não inclui | Completo | Completo |
| 09 | Integração profunda Home AssistantInstalação e configuração do add-on de integração Frigate HA, mapeamento de entidades de câmera e status de sensores, escrita de scripts YAML de automação baseados em período de tempo e invasão de zona | Home Assistant / YAML | Não inclui | Completo | Completo |
| 10 | Pratica de ajuste de taxa de falsos positivosAjuste de limiar de confianca (Min Score/Threshold), otimizacao de coordenadas Zones para excluir balanco de galhos/reflexos/objetos de fundo, registro de comparacao de dados de falsos positivos antes e depois do ajuste | Frigate | Não inclui | Completo | Completo |
| 11 | Aquisicao e anotacao de conjunto de dadosEstrategia de aquisicao de dados no local (variacao de iluminacao/multiplas fontes de angulo/equilibrio de amostras positivas e negativas), anotacao de caixas de deteccao de objetos no CVAT ou Roboflow, divisao de conjunto de dados 7:2:1 e aumento de dados | CVAT / Roboflow | Não inclui | Não inclui | Completo |
| 12 | Aprendizado por transferência de modelo YOLOPrincípios de detecção de objetos YOLO e análise de rede backbone, configuração de ambiente de treinamento PyTorch e pesos pré-treinados, monitoramento de curva de convergência de Loss e métrica mAP@0.5 | YOLO / PyTorch | Não inclui | Não inclui | Completo |
| 13 | Conversao e deploy de modelo de bordaExportação de formato ONNX, conversão para TensorRT Engine Jetson, quantização INT8 TPU-MLIR reCamera para cvimodel, medição prática de latência/FPS/memória de vídeo de inferência de borda | TensorRT / TPU-MLIR | Não inclui | Não inclui | Completo |
| 14 | Agregacao de dados estruturados e painelGravacao de dados estatisticos de deteccao de objetos no banco de dados de serie temporal InfluxDB, implantacao de painel de tendencia de estatistica de frequencia de alertas/popularidade de zona/taxa de conformidade no Grafana | InfluxDB / Grafana | Não inclui | Não inclui | Completo |
| 15 | Revisão da solução e resumo de entregaDemonstracao de solucoes de projeto de cada grupo e defesa de resultados de ajuste de falsos positivos, revisao de gasto de capacidade computacional de borda e uso de banda de rede, arquivamento de entregaveis e arquivos de configuracao | — | Reduzido | Completo | Completo |
● Completo◐ Reduzido— Não inclui●＋ Mais aprofundado que o completo
A chave coverage corresponde ao ID do formato de curso (taster / workshop / bootcamp), os valores são full (cobertura completa) / part (cobertura simplificada) / none (não incluído) / plus (mais profundo que a versão completa). A aula experimental (taster) foca na experiência dupla L1 e configuração básica, o Jetson NVR é demonstração observacional sem prática; a aula prática (workshop) cobre a vinculação Node-RED completa L1+L2 e a agregação multicanal Frigate; a aula de entrega (bootcamp) cobre completamente L1+L2+L3, incluindo treinamento de modelo personalizado e implantação de borda.
Primeiro escolha o nível, depois o formato
O tempo e o objetivo determinam qual nível escolher: se você quer que o aluno leve um projeto que possa continuar evoluindo, escolha a versão completa; se tem apenas dois dias, escolha a versão hackathon; se tem apenas meio dia, escolha uma das duas oficinas rápidas.
Sessão Experimental
Sem FP1 dia · 6–8h · L1 Camada de Demonstração · foco em configuração de ponto único reCamera e compreensão da arquitetura de duas linhas principais
- Dia 1 manhãMódulos 01 + 02 + 03
Pre-verificacao ambiental -> conceitos centrais de visao de IA -> configuracao de no leve de ponto unico reCamera
- Dia 1 tardeModulos 04 + 05 (demonstracao) + 15 (simplificado)
Deteccao basica de invasao -> demonstracao da arquitetura NVR Jetson -> revisao e resumo
O objetivo da aula experimental e "compreender, saber explicar, saber demonstrar", obtendo em 3 minutos o efeito de demonstracao de deteccao de objetos e alerta de invasao da reCamera. O NVR multicanal Jetson e demonstracao observacional, sem pratica.
Aula prática
FP completo2–3 dias · 14–20h · L1+L2 · vinculação de alertas Node-RED + agregação multicanal Frigate + automação HA + ajuste de falsos positivos
- Day 1Módulos 01–05
Pre-verificacao ambiental -> conceitos de visao -> configuracao reCamera -> deteccao basica -> demonstracao NVR Jetson
- Day 2Modulos 06-08
Orquestração de eventos visuais Node-RED → vinculação de alertas multicanal → configuração de câmeras multicanal Frigate
- Dia 3 (opcional)Modulos 09 + 10 + 15
Integração profunda HA → prática de ajuste de taxa de falsos positivos → revisão de solução e resumo de entrega
A aula pratica entrega 1 sistema completo contendo integracao RTSP de 2 ou mais canais, deteccao Frigate, vinculacao HA e ajuste de falsos positivos. Requisitos basicos dos alunos: compreender fundamentos de rede IP, Docker e MQTT, saber editar arquivos de configuracao YAML.
Aula de entrega
FP completo3–5 dias · 24–35h · L1+L2+L3 · cobertura completa incluindo treinamento de modelo personalizado e otimização de implantação de borda
- Day 1–2Modulos 01-10
Conteúdo completo L1+L2 (configuração reCamera + vinculação Node-RED + agregação multicanal Frigate + integração HA + ajuste de falsos positivos)
- Day 3Modulos 11 + 12
Aquisicao e anotacao de conjunto de dados -> aprendizado por transferencia de modelo YOLO
- Day 4Modulos 13 + 14
Conversao e deploy de modelo de borda -> agregacao de dados estruturados e implantacao de painel
- Day 5Módulo 15
Revisão da solução e arquivamento de entrega
O objetivo da aula de entrega e desenvolver capacidade de projetar e entregar independentemente solucoes de reconhecimento visual para industrias verticais. Requisitos basicos dos alunos: possuir base em Python e linha de comando Linux, compreender principios basicos de deteccao de objetos, familiarizar-se com as capacidades L1-L2.
A aula experimental e o formato padrao para demonstracao de solucoes e comunicacao com clientes: zero barreira de algoritmos, ciclo fechado em 1 dia, foco em "camera consegue transmitir fluxo, objetos conseguem ser detectados, alertas conseguem ser acionados". Adequado para feiras, dias de abertura tecnologica e cenarios de primeiro contato com clientes.
O Dia 3 da aula pratica e um dia elastico opcional: se os alunos tiverem boa base, pode ser comprimido para 2 dias (a tarde do Dia 2 combina integracao HA e ajuste de falsos positivos); se for necessario mais tempo para ajuste de configuracao Frigate, use os 3 dias completos.
A fiação do switch PoE e da reCamera HQ PoE requer confirmação de que as portas do switch suportam o padrão 802.3af/at; injetores PoE não padronizados podem danificar a porta de rede da câmera. É proibido conectar erroneamente portas não PoE como alimentação PoE.
O Jetson reServer J4012 requer flash da imagem JetPack e configuração do Docker com --runtime nvidia; o Frigate deve usar obrigatoriamente a imagem stable-tensorrt-jp6, imagens de CPU comuns não habilitam decodificação de vídeo por GPU e aceleração TensorRT.
A aula experimental nao inclui configuracao multicanal Frigate nem pratica Node-RED; por favor, nao prometa ao cliente que os alunos da aula experimental conseguem concluir independentemente a agregacao NVR multicanal — esse e o padrao de entrega da aula pratica.
Linha vermelha de conformidade: todos os modelos de deteccao e cenarios deste curso estao limitados a deteccao de objetos/comportamentos/zonas; e estritamente proibido o reconhecimento facial de identidade e o rastreamento de caracteristicas biometricas. Antes da entrega do projeto, deve-se confirmar por escrito com o cliente os limites de deteccao.
Para quem é este curso
O valor deste curso nao esta na precisao do algoritmo, mas no metodo de engenharia de "levar a visao de IA da bancada de demonstracao para o local do cliente"
M4 não é um curso de algoritmos que ensina alunos a "ajustar parâmetros para aumentar precisão", mas um curso de engenharia que ensina equipes a usar câmeras open-source e hardware de computação de borda para transformar detecção de objetos de demonstração de laboratório em soluções de campo entregáveis, manteníveis e compatíveis com conformidade. A Chaihuo entrega não apenas "uma aula", mas um conjunto completo que pode ser desmontado, reescrito e remontado: estrutura de curso de 15 módulos, planos de aula e PPT para professores, fluxos de exemplo reCamera Node-RED, modelo de configuração frigate.yml, método de desenho de zonas Zones, tabela de registro de ajuste de falsos positivos, lista de dispositivos e especificações de bancada.
Abertura 01
Trocar de cenário
A zona de deteccao do Modulo 04 "Deteccao basica de invasao e desenho de zonas" e aberta: seu setor, o local do seu cliente, um problema real que esta acontecendo nesta cidade. Protecao perimetral pode ser muro de parque, pode ser porta traseira de armazem, pode ser entrada de estufa de cultivo — quanto mais o problema se aproxima do cenario real, melhor o efeito, e isso voce entende melhor do que nos.
Abertura 02
Conectar cameras
As cameras de rede existentes dos seus clientes, os dispositivos RTSP na bancada de treinamento da escola, as cameras de protocolo proprietario dos parceiros — podem ser conectadas apos o modulo 08, tornando-se o pool de objetos para o exercicio de integracao multicanal Frigate. O M4 e responsavel por explicar o metodo a fundo; qual camera conectar apos a porta, voce decide.
Abertura 03
Adicione o Seu
Aquilo que voce acumulou no setor: armadilhas enfrentadas no local, a metafora que faz os alunos entenderem instantaneamente o limiar de confianca, as tres perguntas mais frequentes no local do cliente, a experiencia exclusiva de ajuste de falsos positivos — isso e exatamente o que nao temos e nao podemos oferecer.
O melhor destino de um curso de visão de IA não é ser executado completamente uma vez, mas ser transformado por um engenheiro além do reconhecimento, tornando-se a solução que só ele pode entregar.
Limites de Escopo e Conformidade
Princípios Fundamentais
Apenas deteccao de objetos/comportamentos/zonas e alertas de eventos; e estritamente proibido o reconhecimento facial de identidade e o rastreamento de caracteristicas biometricas.
No Escopo
- Deteccao de objetos gerais e especificos (categorias de objetos como pessoa/veiculo/capacete de seguranca/colete refletivo/peca de trabalho)
- Deteccao de invasao de zona e transgressao de limite, deteccao de permanencia anormal noturna
- Agregacao e analise de fluxos de video RTSP multicanal e gerenciamento de gravacao NVR
- Eventos de deteccao estruturados enviados via MQTT/Webhook para alarmes sonoros/luminosos e sistemas de terceiros
- Contagem de fluxo de pessoas por zona e estatistica de tempo de permanencia (agregacao anonima, sem associacao a identidade pessoal)
- Treinamento de modelo personalizado de deteccao de objetos e deploy quantizado de borda (L3)
Fora do Escopo
- É estritamente proibido o reconhecimento facial de identidade e o rastreamento de características biométricas (linha vermelha de conformidade); todos os modelos e cenários deste curso estão limitados à detecção de objetos/comportamentos/zonas
- É estritamente proibido o uso em controle de frenagem de segurança de vida em nível de milissegundos (como direção autônoma, diagnóstico médico, intertravamento de segurança industrial)
- Não substitui sistemas legais de monitoramento de segurança nem sistemas de alarme de incêndio
- Não garante taxa de reconhecimento de 100% em condições climáticas extremamente adversas (chuva forte, neblina densa, contraluz intenso)
- Não inclui serviço de operação e manutenção de longa duração no local
- A reCamera individual é uma solução leve de câmera única, suporta 1 canal de inferência em tempo real 1080P; para concorrência multicanal é necessário implantar host de borda (RK3576 / J4012) e planejar adequadamente a resolução de detecção e a taxa de amostragem de quadros (geralmente 5–10 FPS)