По данным ГИБДД, потеря внимания водителем считается основным фактором риска ДТП во всем мире. Несмотря на растущую тенденцию к беспилотному вождению, в современных автомобилях по-прежнему используется только частичная и условная автоматизация, требующая действий водителя.
Исполнительный директор проекта «Антисон» Андрей Белоусов рассказал, что такое Driver State Monitoring, почему технология должна быть в каждой машине и как решается проблема ДТП с помощью искусственного интеллекта сегодня.
Немного теории
Driver State Monitoring — это технология мониторинга водителя. DSM представляет собой систему безопасности транспортного средства, которая оценивает состояние водителя и предупреждает его, если это необходимо.
Технология направлена на определение психофизиологического состояния как функциональной реакции человека на изменения внешней среды. То есть задача системы определять, как человек реагирует на внешние воздействия и выявлять отклонения в его поведении, влияющие на его способность управлять транспортом.
Несмотря на свое название (Driver State Monitoring), технология может использоваться во всех отраслях, где происходят процессы под наблюдением и управлением человека,но сегодня больше всего распространено применение DSM именно на транспорте — пока что.
Классификация и характеристики
Вообще системы определения психофизиологического состояния человека делятся на два принципиально разных класса. К первому классу относятся системы контактного способа определения (определяется пульс, биоритмы и прочая телеметрия). Второй класс — бесконтактные системы, к которым относится наша разработка «Антисон». В случае бесконтактных систем определение производится камерой, и обрабатывается искусственным интеллектом.
Антон Солохин, руководитель разработки системы.
История определения психофизиологического состояния идет из криминалистики, когда нужно понять по определенным признакам, насколько обвиняемый корректно определяет реальность (насколько человек вменяем). От этого часто зависит решение суда. В случае с DSM система определяет, состояние человека, и принимает решение, имеет ли он физическую возможность управлять транспортным средством.
Быть первыми на рынке — это значит изучить все крайне тщательно, поэтому, когда мы только начали разрабатывать систему, мы общались с множеством специалистов, изучали мировой опыт и труды ученых, которые занимаются исследованием психофизиологического состояния человека. После совместной работы были выбраны измеримые критерии по видеоизображениям, которые могут дать нам корректное представление о состоянии.
Что важно при разработке устройства с технологией DSM
- Эргономичность устройства (человеку не нужно постоянно напоминать, что за ним следят). То есть в идеале устройство не должно быть видимым для водителя, и оно не должно производить никакие раздражающие воздействия на человека за рулем — за исключением ситуаций, которые требуют вмешательства системы;
- При любых погодных условиях, при любом освещении устройство должно давать стабильное изображение (потому что если изображение будет менять яркость, при попадании зоны обзора в тень, а также прочие внешние природные воздействия, то качество параметров алгоритмов может существенно снизиться. В этом случае появляется много пропущенных, поэтому ошибки первого-второго рода нужно начинать купировать прямо с устройства;
- Устройство должно обладать всей необходимой документацией для простой интеграции в транспортное средство. В противном случае не получится согласовать установку, и оно будет физически мешать водителю.
Как происходит seeing machines в DSM
Когда водитель садится за руль, происходит сканирование и идентификация лица. Нейросети определяют ключевые точки на лице человека. Это облако точек пропускается через алгоритмы — так определяется состояние человека. После попадания картинки на устройство, её нужно дополнительно предобработать — чтобы привести к единообразному состоянию (например, из множества неудачных картинок, когда человек проезжает мимо деревьев, когда быстро меняется яркость или тени падают ему на лицо, выбрать «наиболее удачную»).
Нейросети вычисляют, закрыты или открыты глаза, в какую сторону смотрит человек, под каким углом, анализируется мимика, специфические повороты головы.
Тревожным сигналом могут стать медленное или частое моргание, взгляд в сторону, частое зевание и другие характерные признаки снижения концентрации.
В начале 2000-х аппаратная часть позволила эффективно использовать сверточные нейронные сети (прим. ред.: новое поколение нейронных сетей, пришедшее на смену полносвязным). Ученые изобрели методики обучения и архитектуры сверточных нейронных сетей, позволяющих за один прогон выделить отдельные объекты на изображении и определить их класс. Сверточные нейронные сети требуют большой степени параллелизма, который позволяет им работать на высоких скоростях. Сегодня скорость работы нейросети — ключевой фактор, потому что одним из параметров бесконтактного психофизиологического состояния человека является частота моргания. То есть люди, которые здоровы и чувствуют себя хорошо, моргают в среднем 60 раз в 2-3 минуты. В самом процессе моргания счет на сотню миллисекунд, поэтому «проморгать моргание», если нейросеть медленно работает, очень просто.
Какие инциденты распознает технология
Самые важные для системы инциденты — это засыпание и усталость, система это понимает по позиции лица. Дальше начинаются опциональные ситуации, которые вычисляются не на каждом кадре, а реже: курение, непристегнутый ремень, еда и столкновение. Если водителя тряхнуло на лежачем полицейском, это тоже будет рассчитываться как столкновение (правда, это уже не видеоаналитика, а motion sensors).
Также система реагирует на отсутствие человека в кадре, особенно если транспортное средство находится в движении. Все эти ситуации вызывают тревожное событие, и система предупреждает водителя звуковым или световым сигналом.
Если водитель вернулся к работе, тикет (карточка инцидента) о тревожной ситуации не поступает на обработку в центр. Если ничего не меняется, событие с коротким роликом, с координатами водителя уходит в Центр мониторинга к дежурному оператору, который принимает решение действовать по регламенту или отклонить событие.
Миссия DSM не в том чтобы наказать, а чтобы предотвращать состояния водителя, которые могут привести к аварийным ситуациям. Поэтому мы должны его предварительно уведомить о том, что он чувствует себя не очень хорошо, и что он должен принять решение, как из этой ситуации выбраться (например сделать перерыв). Поэтому, в первую очередь система предупреждает самого водителя. Важно понимать, что DSM — это превентивный процесс, который направлен на предотвращение ДТП, а не на наказание водителя.
DSM: ошибки первого и второго рода
Конечно, никакая система не является абсолютно достоверной: есть ложноположительные и ложноотрицательные ошибки. Мы можем настраивать систему. То есть подкрутить, чтобы было больше ошибок первого или второго рода.
Мы делаем так, чтобы ошибок второго рода было больше, ведь наша задача — ни в коем случае не допустить аварийной ситуации. Оверхед ложноположительных событий снимается за счет количества операторов: мы 24\7 мониторим, чтобы оперативно реагировать на любые события.
Кстати, принятие решения проводится не только по одному событию: так как в сервисе все водители персонализированы (мы не знаем их персональных данных, но у них есть обезличенный идентификатор), поэтому мы можем быстро посмотреть историю, посмотреть ролик, и затем уже принимать решение.
Во время пандемии немного упал процент персонализации
Так как у нас все события привязаны к определенному водителю, масочный режим сказался на персонализации водителей, потому что упал процент распознавания.
Но если при идентификации мы делаем таким образом, чтобы было больше ошибок первого рода, то в случае с распознаванием мы настраиваем алгоритмы, чтобы ошибок первого рода было больше. Потому что приписать событие невиновному водителю нечестно и неэтично. И несмотря на то, что вероятность идентификации водителя упала, мы увеличили число модераторов, и тем самым убрали проблему.
Будущее технологии
Можно сказать одной фразой: «не автомобилем единым». Существуют различные электростанции: атомные, подводные, на которых есть и будут дежурные, несмотря на высокую степень автоматизации. Так что развитие будет направлено в те отрасли, где важно контролировать психофизическое состояние человека на рабочем месте.
Что касается физического вида устройства, то в идеале коробочка должна исчезнуть (или стать очень маленького размера).
Еще один важный момент: алгоритмы видеоанализа не заканчиваются на определении лицевых точек и углов. Здесь широкий спектр различных задач, включающих вычисления на самом устройстве, облачное вычисление и гибридный подход. То есть в будущем DSM может участвовать в превентивной остановке движения транспортного средства. Недостаточно по факту определять, что человек заснул, поскольку мы можем человека разбудить, а можем и не разбудить.
Здесь же идет важность составления психофизиологического профиля, чтобы вычислять любые отклонения. Алкогольное опьянение, наркотическое, просто плохое настроение человека — следующим шагом будет работа именно в рамках психофизиологического профиля. Далее — персонализированный постоянный сбор телеметрии и выявление отклонений от средних значений его поведения.
Как DSM делает пассажирские перевозки безопаснее сегодня
Сейчас активно ведутся переговоры на тему того, чтобы встраивать систему безопасности в транспортные средства на моменте производства. На самом деле российские автопроизводители уже давно экспериментируют с подобными технологиями, но пока они доступны только в машинах премиум-класса (при этом в Евросоюзе еще в марте 2019 года были приняты новые нормы, утверждающие системы мониторинга состояния водителя обязательными на всех новых машинах после 2022 года.)
В столице с общественным транспортом ситуация такая: в 2019 году в более чем на всем пассажирском транспорте Москвы был установлен «Антисон». С 2020 года система стоит на более чем 9000 единиц транспорта (включая автобусы, троллейбусы, трамваи и вагоны метро). За первые полгода эксплуатации системы аварийность на дорогах столица снизилась на 26%, а за весь 2020 год — даже с учетом снижения пассажиропотока — система предотвратила более 5000 потенциальных инцидентов. Что касается грузоперевозок, то сегодня на российских дорогах благодаря DSM минимум раз в месяц избегает ДТП один дальнобойщик, и это отличный результат.
Заглавная фотография: why kei / Unsplash
Читать первым в Telegram-канале «Код Дурова»
