在AI视频分析的演示中,同一个问题总会被提出,无论是信息系统负责人还是店长本人,都会问:画面都去了哪里?很多人以为视频会通过门店的网络连接持续上传到远程服务器。实际上,关键在于早在第一次调试之前就已确定的架构决策:在门店内的GPU上进行本地视频分析,基于现有摄像头的主码流。
这里不再讨论画质本身,而是跟随数据的路径,从摄像头镜头一直到店长的屏幕:哪些数据留在本地,哪些数据会传出,以及这一选择对警报的速度、门店网络和数据掌控究竟带来哪些具体改变。
视频流的数据量很大,而一家大型门店往往有几十路
一台 IP 摄像机通常至少会产生两路视频流。主码流(mainstream)为高分辨率。副码流(substream)经过精简,主要用于马赛克式画面显示和远程查看。要识别细微的动作,例如把商品塞进口袋,或在货架前拆开包装,起作用的是主码流:在副码流中,手只占几个像素。我们在这篇文章中详细说明了这一点:门店主码流分析。
问题于是变成了一道算术题。要把二三十台摄像机的主码流持续传送到远程服务器,就需要很高且持续稳定的上行带宽,而许多门店的网络连接无法保证这一点。况且这条线路还要与支付终端、收银台(caisse)、邮件通讯,有时甚至顾客 WiFi 共用。夏季促销的周六,支付终端不停运转,没有人希望看到这条线路被占满。
这一限制并不新鲜。ECR Retail Loss 小组在 2020 年发布的
为什么要在离摄像头最近的地方计算
与其让图像来回传输，不如把计算挪到本地：这就是边缘计算（edge computing）的原理。EuroShop 展会在一份关于零售业边缘计算的专题文章中对此作了总结：只有有用的数据才会上传到云端，网络负担得以减轻，系统也能够实时做出反应。就视频而言，一种可行的方式是在门店内部署专用 GPU，读取摄像头视频流，并在本地运行模型。对运营方来说，差异体现在三个方面：
- 延迟。只有当警报送达时,货架区域的情况仍在进行中,警报才有意义。完整视频流无需往返数据中心,从动作发生到通知送达的链路随之缩短:在Oxania,视频警报会在10秒内送达手机、平板或电脑。
- 分辨率。视频流不经过互联网,因此无需为了适应网络连接而降低画质。模型处理的是高分辨率图像,足以区分顾客的私人包和购物袋,或看出商品在结账前已被食用。
- 网络。GPU 服务器专属于门店并部署在现场：读取和分析摄像头视频流不会占用互联网连接的带宽。不过，检测结果的确认、警报片段的发送以及通知推送仍然要通过这条连接，因此它必须保持可用。
哪些数据留在门店,哪些数据传出
每位 IT 负责人最终都会提出这个问题，而一句口号并不足以回答它。在 Oxania 采用的架构中，摄像头图像沿着三条截然不同的路径流转：
- 留在本地的内容：摄像头的高分辨率连续视频流。门店的 GPU 读取并分析这些视频流，视频流不会再传到别处。您现有视频系统的录像仍然像以前一样，由运营方负责。
- 为确认而传出的数据:当识别到风险动作时,会发送一份紧凑的检测数字描述以供确认。这不是视频,其体积与视频画面完全不可同日而语。
- 传出并保存的数据:与警报相关的视频片段,且仅限于此。它存储在离客户所在国家最近的服务器上,既便于快速访问,也符合当地法规。
因此，筛选在源头完成。在数小时的视频中，只有与警报相关的片段才会离开门店：也就是值得团队成员查看的片段。警报中呈现的正是这些片段，并会自动逐步放大到关注点。收到警报的人一眼就能看懂现场情况，并决定后续如何处理。
本地化并不意味着与外界隔绝
还需要明确本地推理的含义。检测在门店内的专用GPU上完成,但站点仍与云端相连:需要网络连接来确认检测结果、发送警报片段,并将通知推送到团队的设备上。改变的是传输的内容:只有少量消息和简短片段,而不是几十路持续的视频流。如果某个供应商声称并非如此,却又向您的手机发送警报,那就值得多问一句。
另一个常被忽视的问题是：GPU 服务器是一台实实在在的设备。需要为它找到摆放位置，为它供电、散热，并将其与摄像头正确连接。这是集成商的工作，而最终效果并不只取决于模型的质量，正如我们在谈到集成商在 AI 摄像头效能中的作用时所说明的那样。借助经过认证的集成商网络，在现有摄像头上完成安装通常不到一天。
签约前要问的五个问题
无论是单个门店还是整个连锁网络,这五点都能帮助您快速判断视频分析架构是否可靠:
- 所分析的视频流:是高分辨率的主码流,还是辅码流。
- 模型在哪里运行,以及这台设备是否专用于您的门店。
- 究竟有哪些数据离开门店,以及在什么时候离开。
- 警报片段的保存地点:位于哪个国家,保存多长时间。
- 门店网络中断或质量下降时会发生什么。
请要求对方给出具体的答案。设计良好的架构,几句话就能讲清楚,无需晦涩术语。做不到这一点的供应商,往往自己也没有一张清晰的数据流向图。此外,如果您的摄像头已使用了几年,我们的门店摄像头选购指南可以帮助您核实它们能否提供可用的主码流。
这样的架构也有助于建立信任
将视频流留在本地，并不只是带宽问题。这同样意味着把流转的数据限制在必要的范围内，并让数据始终处于商家的掌控之下。经合组织（OECD）关于 AI 稳健性、安全性和保障性的原则建议，AI 系统在整个生命周期内应保持安全、可靠并能够正常运行，同时应有相应机制，使系统在可能造成不当损害时，能够被安全地停用、修复或下线。
在门店里,这一点很容易理解:技术负责检测,团队负责决定。AI分析的是动作,而不是人,也不会在不同摄像头之间追踪任何人。面对视频片段,是由人来决定是否前往货架区域、是否主动提供帮助,或是不采取任何行动。
这一切并没有什么惊人之处：只是把计算放在合适的地方，让视频只在有需要时才传输。然而，正是这样才带来了快速、精准的警报，以及更有效的未知损耗（démarque inconnue）管控。在比较功能之前，请先要求查看数据流向图：它往往比一本宣传手册说明得更多。
