Нейросети в супермаркете: как команда инноваций X5 внедрила ИИ в кассы самообслуживания

Нейросети начинают окружать нас повсюду, появляясь даже в тех местах, где мы их и не ожидаем увидеть. Один из таких примеров — набор нейросетей, который недавно разработали в лаборатории инноваций и уже подключили в 80 магазинах «Пятёрочка» и «Перекрёсток». Рассказываем, зачем ИИ нужен Х5 и как он помогает покупателям и сотрудникам магазинов.

Как мы уже рассказывали ранее, кассы самообслуживания (КСО) в «Пятёрочках» и «Перекрёстках» — устройства довольно технологичные. В лаборатории инноваций изначально разрабатывали КСО с запасом по мощности и функциональности, чтобы в будущем можно было расширять их возможности.

Так, например, КСО в сетях X5 оборудованы динамиками, микрофонами и камерами, которые можно задействовать для машинного зрения. Благодаря последним X5 и удалось внедрить набор нейросетей, который помогает клиентам правильно отсканировать товары и не ошибиться с их количеством на КСО.

В чём проблема?

Несмотря на стремительно растущую популярность, КСО для многих клиентов «Пятёрочки» и «Перекрёстка» всё ещё остаются диковинкой. К тому же такие кассы имеют ряд нюансов, которые требуют привыкания.

Например, даже те клиенты, которые научились быстро находить и сканировать штрих-коды, сейчас нередко испытывают трудности при покупке молочной продукции или питьевой воды. Дело в специальных QR-кодах системы маркировки «Честный знак», которые необходимо сканировать вместо классического штрих-кода, хотя последний с упаковок никуда не девается. При этом QR-код может быть нанесён вообще с другой стороны упаковки или наоборот, рядом со штрих-кодом, и тогда для корректного сканирования последний нужно прикрывать рукой.

Но существуют и другие, более классические примеры товаров, с которыми возникают трудности или ошибки. К примеру, еда для кошек и собак в пакетиках. Нередко покупатели берут их охапкой, не считая, сколько взяли. Или «чупа-чупсы», на которых просканировать штрих-код непросто даже кассиру, так как он завёрнут вместе с обёрткой вокруг конфеты.

Появилось решение

Так вот, чтобы минимизировать количество ошибок с этими и подобными им товарами, X5 внедрила в КСО группу нейросетей, которые распознают товары, попадающие в зону сканирования.

Перед тем как идти в собственную разработку мы детально изучили рынок на предмет наличия готовых решений, в том числе и по той причине, что на старте разработка нейросети собственными силами казалась практически невозможной задачей. Поиск на рынке не дал нужных результатов – мы не нашли ничего, что бы соответствовало бизнес-задачам, которые мы хотим решить, и укладывалось в имеющиеся технические ограничения. Решили — будем разрабатывать сами.

В реализации проекта приняли участие большое количество команд X5 — разработки, аналитики, архитектуры, инфраструктуры, информационной и коммерческой безопасности и, конечно же, операций. Более 50 человек внесли свою лепту и дали жизнь технологии, — комментирует Александр Карпухин, руководитель направления инновационных продуктов X5 Group

Эти «нейронки» могут различать множество категорий и классов товаров, например, кофе, алкоголь, схожие по виду овощи и фрукты, конфеты, а также их количество. И в случае ошибки КСО подскажет пользователю, какой товар был некорректно просканирован и при необходимости «позовёт» сотрудника магазина, если пользователь сам не справится.

При этом нейросети постоянно обучаются и с течением времени они смогут распознавать сорта яблок и похожих конфет (например, «батончики»):

Пока набор нейронок умеет отличать далеко не все категории товаров, может реагировать на нестандартное поведение покупателя по перемещению товаров, но это всё возможно исправить качественным дообучением «нейронок» на больших масштабах. Впереди ещё много работы, но сомнений в том, что инструмент будет полезен для наших покупателей уже нет, — отметил Роман Тимаев, директор по инновациям X5 Group.

Как это работает?

При помощи камеры, которой оснащены КСО X5, а также системы машинного зрения, нейросети в реальном времени анализируют видеопоток. Важно отметить, что «нейронки» работают прямо на компьютере внутри кассы, не задействуя облачные мощности. Однако, чтобы повысить точность системы, всё же пришлось установить ещё одну камеру в верхней части КСО — она позволяет захватить всю рабочую зону перед кассой.

По словам Евгения Шуляка, руководителя лаборатории инноваций X5 Group, одной из самых сложных задач было разместить и корректно запустить весь пакет «нейронок» на не самом мощном «одноплатнике», который находится непосредственно в КСО:

Аналогичные системы обычно требуют установки мощных и дорогих серверов в магазине, что приводит к удорожанию или даже неокупаемости решения в принципе. Но мы эту задачу решили — на оптимизацию кода и достижение оптимальной производительности системы без перегрузки и перегрева «одноплатника» ушло 60% времени разработки всего проекта, — подчеркнул Шуляк.

Ещё один вызов, по его словам, заключался в том, что процесс обучения «нейронок» оказался сложнее, чем казалось на старте. Например, цветные пакеты для фруктов и овощей искажают цвет товаров, а в каждом магазине разные освещённость, углы падения света и блики. Из других сложностей: в «Пятёрочках» используются разные по размеру весовые платформы, а зимой покупатели совершают покупки в перчатках, что усложняет работу детектора рук.

По подсчётам Шуляка, чтобы решить массу задач с нечёткой логикой и проанализировать огромное количество моделей поведения покупателей, пришлось отсмотреть вручную сотни часов видео покупок, трижды по ходу проекта сменить типы используемых нейросетей и выпустить более 10 релизов уже непосредственно в ходе пилота. На данный момент система стабилизирована и показывает стабильный качественный результат.

Сейчас набор нейросетей может определять сразу несколько видов ошибок. Например, если товар был поднесён к сканеру, но не просканировался или если пользователь по ошибке пробил один товар под видом другого. Кроме того, благодаря нейросети КСО теперь может подсказать, если покупатель некорректно разместил весовой товар на весах.

И если какая-то из этих ошибок была совершена, то касса издаёт звуковой сигнал и на экране появляется соответствующее уведомление. Вместе с тем выводится изображение товара, на которое среагировала система. Если на этапе сканирования товар всё же не удалось корректно добавить в чек, то в момент вывода на экран подитога на помощь придёт сотрудник магазина. Причём он может сделать это удалённо — ассистент кассовой зоны может видеть на рабочем планшете текущий статус работы всей зоны КСО и дистанционно принять решение об отмене или корректировке покупки. Сейчас эта технология проходит стадию пилота в Москве и Санкт-Петербурге, компания рассматривает ее как еще один вариант использования ИИ.

К слову, другой положительный момент использования новой нейросети заключается в том, что сотруднику магазина больше не нужно стоять за спиной покупателей на кассах самообслуживания. Соответственно, он и не будет создавать ни у кого ощущение, что их в чём-то подозревают. Знаем, что у некоторых покупателей этот момент вызывал дискомфорт.

Планы на будущее

Как мы уже отметили ранее, сейчас нейросети-помощники запущены в 40 «Перекрёстках» и 40 «Пятёрочках» в пилотном режиме. Судя по промежуточным результатам, пилот проходит успешно — доля ошибок в покупках на кассах самообслуживания снизилась на 10%. А значит уже скоро торговые сети X5 могут приступить к тиражированию решения на все магазины, где установлены КСО.

В этом году планируется начало масштабного тиража в «Пятёрочке». Вектор развития и улучшения системы определён. Впереди нас ждёт огромный объём работ, который позволит улучшить удобство и качество работы зоны в магазинах X5, — заключил Шуляк.