Один из главных производителей систем хранения данных в мире, компания Seagate, выпустила технический отчет «Массивные данные в движении». В исследовании на примере беспилотных авто эксперты компании показали, как создание информации смещается на периферию, а также доказали, почему для массового ввода такого транспорта главное препятствие вовсе не живые водители, плохие дороги, странная разметка или несовершенный «мозг» автопилота.
Почему этим данным можно доверять?
Seagate — ведущий мировой поставщик систем хранения, общая емкость которых за 40 лет составила 3 зеттабайта. В компании работают 40 000 человек, а ежегодная выручка компании составляет более $10 млрд. Велика вероятность, что жёсткий диск или SSD в вашем компьютере, либо сервер на работе произведён на мощностях Seagate.
Как всё устроено: шесть уровней автоматизации авто
Системы содействию водителям создают уже не одно десятилетие, поэтому ученые и практики успели прийти к единому мнению, что считать автопилотом, а что нет. За общие правила разработки отвечает Общество автомобильных инженеров (SAE). В актуальном стандарте SAE J3016 выделяют шесть уровней автопилота (от 0 до 5).
На нулевом ассистенты только предупреждают, например, о слепых зонах или потере полосы, и оказывают кратковременную помощь (АБС).
На первом помогают держать в полосе или ускоряться и тормозить (круиз-контроль).
На втором уже помогают и держаться в полосе, и ускоряться, и тормозить.
На перечисленных выше уровнях водитель обязан следить за ассистентами и именно вести автомобиль, даже если руки не на руле, а ноги — не на педалях.
На третьем уровне система уже самостоятельно ведет автомобиль, но может иногда просить человека взять управление на себя.
На четвёртом системы не требуют от человека брать управление на себя, а у автомобиля уже может не быть руля и педалей. Касается это, в первую очередь, местного беспилотного такси.
На пятом система может вести автомобиль при любых условиях, в любом месте, в любой ситуации.
Большинство современных беспилотных авто обеспечивает первый уровень автономии. В исследовательской компании IDC прогнозируют, что среднегодовой прирост поставок таких автомобилей до 2025 года будет составлять 10,1%.
В 2024 году каждый пятый автомобиль в развитых регионах мира будет иметь уровень автономии 2, что означает наличие функций частичной автоматизации вождения. Не так давно компания Honda представила автомобиль с третьим уровнем автономии. Автомобилей с более высоким уровнем пока нет.
Выше автоматизация — больше данных
Отличие между безопасным надежным автономным транспортным средством и машиной, которая принимает туннель, нарисованный на кирпичной стене, за реальную автомагистраль — в программном обеспечении. Чтобы обучаться, автопилоту нужно отдавать и получать много данных. Например, NVIDIA развивает платформу DRIVE Hyperion, предназначенную для сбора данных, поступающих от множества камер, радаров и других устройств.
Чем оперативнее будет поступать, обрабатываться и отдаваться обратно информация, тем быстрее обучится система и выйдет на пока недоступные четвертый и пятый уровни. Для последнего нужно до 20 Тб в час в расчёте на автомобиль. Общий объём обучающих данных, полученных от группы таких автомобилей, составит не меньше 20 Пб в час — такой прогноз дали авторы публикации в Automative World.
Если смотреть не так далеко, то чтобы собрать достаточно информации для обучения систем автономных автомобилей уровней 2–4, исследовательская машина должна записывать до 150 Тб в день.
Проблемы в транспортировке
Современные компьютеры позволяют обрабатывать и отдавать подобные массивы данных — для задач ИИ подобного объёма это осуществляется в гипермасштабных дата-центрах. Системы хранения тоже предоставить не сложно — современный уровень развития технологий позволяет собрать такие серверные. Главная проблема — в передаче.
Например, чтобы переслать 1,5 Пб — объёма данных, созданного 10–20 исследовательскими автомобилями, — по гигабитному соединению корпоративного класса (~1000 Мбит/с) нужно больше 150 суток. Поэтому сегодня для таких огромных объёмов информации компании чаще используют физическое перемещение: с беспилотного автомобиля их записывают на жёсткие диски, отправляют самолётом или по земле до дата-центра, там расшифровывают и отправляют обратно — к ИИ.
Помимо того что это долго, подход довольно чувствителен с точки зрения безопасности: так проще перехватить и использовать данные для не самых чистоплотных задач. Существуют и регуляторные ограничения в вопросе использования персональной информации. В общем, таксисты могут спать спокойно до тех пор, пока не решится проблема работы с данными на периферии.
Как решить проблему передачи данных
Из всего сказанного выше логичными видятся два способа решить проблему больших данных и ускорить эволюцию автопилотов: расширить возможности в передаче данных или перенести центры обработки информации на периферию, чтобы укоротить путь до ИИ.
По первому направлению нужно преодолеть слишком большой разрыв между возможным и желаемым. Вероятно, решение найдется в квантовых компьютерах и обслуживающих их квантовых коммуникациях, где с помощью кубитов можно записывать и передавать огромные массивы данных. Но первые результаты мы увидим минимум через девять лет, а полноценный квантовый интернет — больше идея будущего, чем настоящего. Разработки пока ведутся в лабораториях и на тестовых полигонах.
Второе направление на ближайшую перспективу более актуально. Например, часть обработки информации можно вынести за пределы ЦОД. Помогают «туманные вычисления», мобильные вычисления и «клауднет»:
«Туманные вычисления» — подход, когда задействуют те устройства внутри сети, которые не предназначены для обработки данных. Программа-оркестровщик собирает в единое виртуальное вычислительное устройство роутеры, сетевые коммутаторы, шлюзы, хранилища данных и так далее.
Мобильные вычисления предполагают сбор в виртуальное устройство всего, что способно «ловить сеть». Например, в обработке данных в системе умного дома помогут чайник или утюг.
«Клаудлет» или мини-ЦОД в месте сбора данных — это просто мощный компьютер, который подражает ЦОД и делает за него часть работы.
Сами ЦОД могут тоже размещаться максимально близко к обслуживаемым автомобилям, например, на развязках автомагистралей и вдоль дорог. Автопилот сможет заезжать в такие остановочные пункты, чтобы быстро и безопасно «сбросить» данные и получить на них обратную связь.
Конечно, подобные ЦОД должны быть связаны в единую сеть для обмена информацией. Поскольку такая инфраструктура необходима и для глобальной системы умного города, способной снизить экологический след, затея не кажется расточительной. Например, в ноябре 2021 года власти Москвы выбрали 140 улиц, на которых будут тестироваться беспилотные автомобили. Ориентируясь на этот список, можно было бы развивать систему ЦОД, ориентированных на периферийные вычисления и информацию от беспилотников.
Следующим этапом развития сети ЦОД станет включение мобильных движимых объектов для обработки и обмена информацией по примеру существующих «автомобилей-жёстких дисков» или «полос для обмена данными» по примеру полос для зарядки электрокаров, что позволит обмениваться информацией прямо на ходу без остановок и сократить достижение четвёртого и пятого уровней автономности.
