Skip to content
DroidFlight Wiki

边缘智能摄像头与视觉监控

概念速览

  • 边缘视觉监控：在本地对 RTSP 摄像头流做人 / 车 / 物体检测，避免云端上传
  • 代表项目：Frigate (NVR) + Home Assistant (事件触发)

Frigate 核心架构

[RTSP 摄像头] → [FFmpeg 解码] → [检测器 (Coral / GPU)]
                                      │
                          ┌───────────┴───────────┐
                          ▼                       ▼
                  [物体跟踪 ByteTrack     [语义分析]
                   跨帧关联 ID]               │
                                              ▼
                                    [MQTT → Home Assistant]

硬件加速器

加速器算力适用模型延迟
Google Coral USB TPU4 TOPSYOLOv8n / MobileDet~10 ms
Google Coral M.24 TOPS同上~10 ms
Hailo-8 / Hailo-8L13-26 TOPSYOLOv8m~8 ms
Intel iGPU (OpenVINO)4-15 TOPSYOLOv8~15 ms
NVIDIA Jetson Orin40-100 TOPSYOLOv8l + 分割~12 ms

检测能力

  • 物体分类：人、车、宠物、包裹
  • 姿态估计：YOLO-Pose / RTMPose 识别跌倒、举手
  • 车牌识别 (ANPR)：基于 PaddleOCR
  • ReID 跨摄像头：跨摄像头关联同一个人

隐私优势

  • 零云端：所有视频流不出局域网
  • 动作遮罩：可对隐私区域（浴室窗户）AI 模糊
  • 人脸匿名化：默认不存储人脸特征

📋 复现条件

类别必备可选 / 备注
硬件HA 主机 (N100 / 树莓派 5) · USB Coral TPU 或 Hailo-8 · RTSP 摄像头 ≥ 1多摄像头 (4-8 路)
操作系统HAOS 14+ / Debian 12Ubuntu 24.04 (Frigate 独立部署)
软件版本Frigate 0.14+ · YOLO11n · Mosquitto 2.xHome Assistant Companion App
网络千兆网 (RTSP 1080p 需 4 Mbps / 路)摄像头 PoE 供电
账号无 (本地推理)Frigate+ 订阅 (云端模型)
时间Frigate 装 30 min · YOLO 模型加载 10 min · 1 路摄像头 30 min8 路 +1 天
难度⭐⭐⭐⭐ 高Coral TPU 配置较烦
前置知识Linux 基础 · Docker · HA 自动化网络配置 / YAML

⛔ 别这么做 (Anti-patterns)

经验证的坑 —— 跳过 = 至少浪费半天，严重的烧板 / 锁机。

❌ 错误做法💥 后果⚠️ 风险范围
不要在断电前直接拔 Valetudo 改装中的 USB-TTL刷机中途断电 = 变砖。先 dmesg 确认串口没掉再操作。🟡智米扫拖一体 / Roborock S5 Max
不要把米家设备 token 上传到任何第三方云token = 设备控制权，泄漏 = 任何人可远程开门。🔴所有米家 / Aqara 设备
不要在生产 HA 配置里直接编辑 configuration.yaml 后 check_config 不通过就 reload错的 reload 会让 HA 启动失败 → 所有自动化停摆。用 configuration.yaml 备份 + git 版本化。🟢Home Assistant
不要给 Frigate 摄像头内网用 admin/admin 默认密码RTSP / ONVIF 默认账号 = 局域网裸奔。先改密码。🟡海康 / 大华摄像头
不要在 ESPHome 设备上直接 OTA 升级到主版本 (major)主版本常改 NVS 分区。OTA 升级后启动失败 = 拆壳刷机。先 flash USB 一次。🟡ESP32-S3 语音卫星 / 智能开关
不要在智能家居自动化里写死设备 IPDHCP 重启后 IP 变 = 自动化失效。用 hostname / mDNS / 静态租约。🟢Home Assistant / Hubitat
不要在 Matter 设备首次配对时关掉手机蓝牙Matter 配对 = BLE → WiFi handover，全程需要蓝牙。🟢Aqara M3 / Apple Home

🚨 风险总览 (Risk Matrix)

风险等级含义例子
🟢 低改错可回滚 / 几分钟恢复pip 全局装包、DHCP IP 写死
🟡 中需要重新刷机 / 重装 / 1-2 小时恢复装错 ROS 2 版本、没 OTA 升级看版本
🔴 高不可逆 / 烧板 / 安全风险电池反接、micro-ROS 没看门狗、刷机中途断电

参考资料