Во время демонстрации видеоаналитики на базе ИИ рано или поздно звучит один и тот же вопрос, его задаёт ИТ-директор или сам управляющий: куда уходят изображения? Многие представляют себе непрерывную передачу на удалённый сервер через интернет-соединение магазина. На деле всё определяется архитектурным решением, принятым задолго до первой настройки: локальная видеоаналитика на GPU в магазине на основе основного потока уже установленных камер.

Мы не будем возвращаться к качеству самого изображения. Давайте лучше проследим путь данных от объектива камеры до экрана руководителя: что остаётся на месте, что уходит и что этот выбор меняет на практике для скорости оповещений, для сети магазина и для контроля над данными.

Видеопоток занимает много ресурсов, а в крупном магазине их десятки

IP-камера, как правило, формирует как минимум два потока. Основной поток (mainstream) имеет высокое разрешение. Второй поток (substream) облегчённый и нужен, в частности, для отображения в виде мозаики и для удалённого просмотра. Чтобы заметить тонкий жест, например товар, скользнувший в карман, или вскрытую упаковку на полке, важен именно основной поток: во втором рука занимает всего несколько пикселей. Мы подробно разобрали этот момент в нашей статье об анализе основного потока в магазине.

Тогда задача превращается в арифметику. Непрерывная передача основного потока с двадцати или тридцати камер на удалённый сервер требует высокой и постоянной исходящей пропускной способности, которую многие магазинные подключения не гарантируют. К тому же этот канал уже используется платёжными терминалами, кассами, почтой, а иногда и клиентским Wi-Fi. В субботу летней распродажи, когда терминалы работают без остановки, никто не хочет увидеть, как он перегружается.

Это ограничение не новость. В своём исследовании об использовании видеотехнологий в розничной торговле, опубликованном в 2020 году и основанном на интервью с 22 европейскими и американскими ритейлерами, группа ECR Retail Loss уже отмечала, что несколько участников беспокоились о влиянии пропускной способности сети и вычислительной мощности на использование видеоаналитики.

Почему вычисления выполняются как можно ближе к камерам

Вместо того чтобы передавать изображения, переносят вычисления: в этом суть edge computing. Выставка EuroShop резюмирует это в материале, посвящённом edge computing в розничной торговле: в облако поступают только полезные данные, нагрузка на сеть снижается, а реакция возможна в реальном времени. Для видео одна из возможных форм - выделенный GPU, установленный в магазине, который считывает поток с камер и запускает модель прямо на месте. Для владельца магазина разница заметна в трёх областях:

  • Задержка. Оповещение полезно, только если ситуация ещё продолжается в отделе к моменту его получения. Без пересылки полного потока в центр обработки данных и обратно цепочка между жестом и уведомлением сокращается: в Oxania видеооповещение приходит менее чем за 10 секунд на смартфон, планшет или компьютер.
  • Разрешение. Поскольку поток не проходит через интернет, его не нужно ухудшать, чтобы он поместился в канал. Модель работает с изображением в высоком разрешении, которое позволяет отличить личную сумку от сумки с покупками или увидеть, что товар был съеден до прохода через кассу.
  • Сеть. GPU-сервер выделен под магазин и установлен на месте: считывание и анализ потока с камер не расходуют пропускную способность интернет-соединения. А вот подтверждение обнаружений, отправка фрагментов с алертами и уведомления проходят через это соединение, поэтому оно должно оставаться доступным.

Что остаётся в магазине, а что покидает его

Любой ИТ-руководитель рано или поздно задаёт этот вопрос, и одного лозунга для ответа недостаточно. В архитектуре, выбранной Oxania, изображения с камер идут по трём чётко разделённым путям:

  • Что остаётся на месте: непрерывный видеопоток камер в высоком разрешении. GPU магазина считывает и анализирует его, и дальше этот поток не уходит. Записи вашей существующей системы видеонаблюдения, как и прежде, остаются под ответственностью владельца.
  • Что уходит для подтверждения: когда обнаружен рискованный жест, отправляется компактное цифровое описание детекции для её подтверждения. Это не видео, и его объём несопоставим с объёмом изображений.
  • Что уходит и сохраняется: видеофрагмент, связанный с оповещением, и только он. Он хранится на серверах, расположенных как можно ближе к стране клиента, ради скорости доступа и соблюдения местных правил.

Таким образом, отбор происходит прямо у источника. Из многих часов видео магазин покидают только фрагменты, связанные с алертами: те, ради которых сотруднику команды стоит посмотреть запись. Эти же фрагменты приходят в алерте с автоматическим плавным приближением к значимой точке. Получатель понимает сцену с первого взгляда и решает, что делать дальше.

Локально не значит отрезано от мира

Нужно чётко понимать, что подразумевает локальный инференс. Детекция выполняется в магазине на выделенном GPU, но объект остаётся связанным с облаком: ему нужно соединение, чтобы подтверждать детекции, отправлять фрагменты оповещений и доставлять уведомления на устройства команды. Меняется то, что передаётся: несколько сообщений и короткие фрагменты вместо десятков непрерывных потоков. Поставщик, который утверждает обратное, но при этом присылает оповещения на ваш телефон, заслуживает ещё одного вопроса.

Ещё один часто забываемый момент: GPU-сервер - это вполне реальное устройство. Ему нужно найти место, обеспечить питание, вентиляцию и аккуратно подключить к камерам. Это работа интегратора, и результат зависит не только от качества модели, как мы объясняли, говоря о роли интеграторов в эффективности ИИ-камер. При наличии сети сертифицированных интеграторов установка на существующие камеры обычно занимает менее одного дня.

Пять вопросов, которые стоит задать до подписания договора

Как для одной точки продаж, так и для целой сети, эти пять пунктов позволяют быстро оценить надёжность архитектуры видеоаналитики:

  1. Анализируемый поток: основной, в высоком разрешении, или вспомогательный.
  2. Где работает модель и выделено ли оборудование именно для вашего магазина.
  3. Что именно покидает объект и в какой момент.
  4. Место хранения фрагментов оповещений: в какой стране и как долго.
  5. Что происходит, когда соединение магазина отключено или работает с перебоями.

Ждите конкретных ответов. Продуманная архитектура описывается в нескольких фразах, без жаргона. Если поставщик на это не способен, у него зачастую и самого нет чёткой карты своих потоков. А если парку ваших камер уже несколько лет, наше руководство по выбору камеры для магазина поможет проверить, что они выдают пригодный для анализа основной поток.

Архитектура, которая работает и на доверие

Хранение потока на месте - это не только вопрос пропускной способности. Это также означает ограничение передаваемого строго необходимым и сохранение данных под контролем владельца магазина. Принципы ОЭСР о надёжности, безопасности и защищённости ИИ рекомендуют, чтобы системы ИИ оставались безопасными, защищёнными и способными работать должным образом на протяжении всего жизненного цикла, а также чтобы существовали механизмы, позволяющие безопасно отключить их, исправить или вывести из эксплуатации, если они могут причинить неоправданный вред.

В магазине это означает следующее: технология обнаруживает, команда решает. ИИ анализирует жесты, а не людей и не отслеживает никого от одной камеры к другой. Увидев фрагмент, человек сам выбирает: подойти в отдел, предложить помощь или ничего не делать.

Ничего эффектного во всём этом нет: просто вычисления, выполненные в правильном месте, и видео, которое передаётся только тогда, когда это нужно. Тем не менее именно это обеспечивает быстрые и точные алерты и лучший контроль над неучтёнными потерями товара. Прежде чем сравнивать функции, попросите показать схему потоков: она часто говорит больше, чем коммерческая брошюра.