Распознавание лиц в период пандемии. Как справляются с «хакерской атакой» системы видеоаналитики

28 октября Роспотребнадзор ввёл обязательный масочный режим по всей России. Ходить в маске нужно везде: в лифте, такси, в общественном транспорте, на парковках. Специально для «Кода Дурова» основатель платформы видеоаналитики Facemetric Юрий Годына рассказал, как повлияла пандемия и обязательное ношение масок на развитие технологий распознавания лиц, от чего зависит качество идентификации человека, и почему пандемию можно сравнить с хакерской атакой.

Когда началась пандемия, счёт шёл на недели. Системы распознавания лиц подстроились под новую реальность очень быстро: например, анализ трафика количества людей в масках были доработаны за каких-то 14 дней. Однако узнать конкретного человека — когда он в маске, и когда без маски — задача более сложная, требующая больше времени. Поэтому сейчас мы пытаемся увеличить объём данных, необходимых для распознавания.

История с COVID-19 — нетипичная для систем распознавания; с подобной ситуацией разработчики сталкивались, только когда тестировали возможные хакерские атаки.

К примеру, нейросети распознают разные объекты: животных, человека или оружие. Во время атаки разработчики заменяют всего один пиксель в изображении — и нейросеть в котёнке внезапно начинает видеть автомат Калашникова. Причём, она абсолютно уверена в том, что перед ней опасный предмет, и выдаёт результат как стопроцентный.

В области computer vision это направление существует скорее, как спортивное или синтетическое — для поиска слабых мест в архитектуре нейронных сетей.

Во время пандемии мы увидели примерно то же самое, только в реальной жизни

Раньше детекторы были обучены распознаванию обычных лиц, которые могут скрываться разве что за очками, шарфом или чёлкой. И вдруг до 80-90% людей появляются перед камерой в маске. Это стало для систем видеоаналитики атакой, которая «сводила их с ума».

Тем не менее, сейчас мы всё ещё теряем много информации о лице человека, который в маске (особенно, если он надевает её правильно, закрывая нос). Ещё сложнее, если у него капюшон на голове — в этом случае точность распознавания падает на 5-10%, а иногда сразу в два раза (если человек еще и в маске).  

Точность распознавания зависит от ряда факторов: разрешения камеры, ориентации направления, от того, как люди себя ведут перед камерой.

Например, сейчас в торговых центрах нам приходится настраивать камеры так, чтобы «снять» человека до того, как он подошел ко входу, где ему сказали «наденьте маску». Второй вариант — «снять» его чуть позже, когда он прошёл через рубеж охраны и немного опустил маску вниз.

В целом, на сегодняшний день распознать человека в маске можно с точностью до 80%

Понятно, что в условиях улицы это не так просто, как, например, в iPhone. Задача Face ID — верификация, а не идентификации (верификация — когда сравнивается фото с конкретным лицом, которое уже есть в нескольких ракурсах. Идентификация — когда сравнивается с гораздо большей базой лиц, да еще и часто в одном единственном и не идеальном ракурсе). И всё-таки телефон находится прямо перед вашим лицом. У системы распознавания (например, на московских улицах) другие условия: вы не смотрите в эти камеры, не останавливаетесь перед ними и не даёте камере собрать как можно больше данных о вас, чтобы точнее идентифицировать лицо. Точность распознавания иная.

На протяжении первой волны пандемии в СМИ были разные мнения о том, как влияют маски на распознавание. Силовые структуры, например, говорили, что их камеры могут установить личности преступников, лица которых скрыты под маской.

Разумеется, не существует уникальной автоматической системы распознавания лиц, которая сама увидит, распознаёт правонарушителя, а затем отправит к нему дрона с наручниками.

Это работает так: например, есть камеры, подключённые к системе распознавания лиц, и есть преступники, которых мы ищем. Этот список конечный и довольно короткий — например, 100 человек. Система детектирует каждого проходящего мимо камеры человека, и как только увидит похожего на кого-то из базы, отправляет уведомление дежурному — вместе с фотографией человека. И уже дежурный “глазами” определяет — тот это человек или нет. И принимает решение что делать, если это действительно преступник.

Стоит отметить, что корректность ношения масок в России пока не проверяется. В период первой волны мы сами проводили исследование корректности ношения средств защиты, но запросов таких от государственных органов не было. То есть масочный режим де-факто соблюдается, но технические запросы до сих пор идут, в первую очередь, на распознавание людей и на аналитику потоков.

Конечно, улучшать систему можно и нужно — этим сейчас занимаются все разработчики. Сегодня главная цель — прокачать старые детекторы, чтобы они эффективнее работали с масками. Ведь они действительно хуже распознают лица в масках.

Вторая задача — улучшить качество распознавания людей в средствах индивидуальной защиты. Есть быстрое, хоть и не самое эффективное решение: дорисовать на уже имеющемся в базе данных человеке маску — и искать его в потоке. То есть, использовать старые алгоритмы распознавания и обогащать базу данных людьми в масках.

Параллельно идёт более сложный процесс — важно приучить системы распознавания к новой реальности, научить технологию работать именно с людьми в масках.

Здесь система видит меньше информации, чем обычно — только верхнюю часть лица. И тогда мы начинаем искать другие источники информации, например, прическу или головной убор. В этом случае нам нужно более крутое оборудование, камеры, вычислительные мощности. Всё это должно быть улучшено.

До конца 2020 года системы будут полностью переключены на распознавание людей в масках. Следующий год, на мой взгляд, будет посвящен тому, чтобы максимально приблизиться к старой точности идентификации — когда люди ходили без масок. В отдалённом будущем новые параметры будут только добавляться — фигуры, походки, поведенческие факторы. Например, через алгоритмы обучения нейросети мы будем отслеживать поведение отдельных лиц и по ним строить профайл.

Я думаю, что старой точности мы не достигнем — вопрос в том, насколько мы приблизимся.

Несмотря на то, что многие опасаются потери конфиденциальности, риска утечки данных, конечно, нет. Система не хранит никаких персональных данных — ни фамилий, ни отчеств, ни контактных телефонов. Даже фото и видео не хранятся.

Мы храним только вектор признаков лица, цифровой слепок

Это всего лишь набор байт, который сам по себе, вне системы, не несёт информации. Аналитика и идентификация — две разные задачи, которые не пересекаются в реальном мире.

_{Заглавная фотография: Anastasiia Chepinska / Unsplash}