[Telegram]
Вышла бета обновления Telegram 9.4. Что нового?
28 января, 2023
Один из главных производителей систем хранения данных в мире, компания Seagate, выпустила технический отчет «Массивные данные в движении». В исследовании на примере беспилотных авто эксперты компании показали, как создание информации смещается на периферию, а также доказали, почему для массового ввода такого транспорта главное препятствие вовсе не живые водители, плохие дороги, странная разметка или несовершенный «мозг» автопилота.
Seagate — ведущий мировой поставщик систем хранения, общая емкость которых за 40 лет составила 3 зеттабайта. В компании работают 40 000 человек, а ежегодная выручка компании составляет более $10 млрд. Велика вероятность, что жёсткий диск или SSD в вашем компьютере, либо сервер на работе произведён на мощностях Seagate.
Системы содействию водителям создают уже не одно десятилетие, поэтому ученые и практики успели прийти к единому мнению, что считать автопилотом, а что нет. За общие правила разработки отвечает Общество автомобильных инженеров (SAE). В актуальном стандарте SAE J3016 выделяют шесть уровней автопилота (от 0 до 5).
На перечисленных выше уровнях водитель обязан следить за ассистентами и именно вести автомобиль, даже если руки не на руле, а ноги — не на педалях.
Большинство современных беспилотных авто обеспечивает первый уровень автономии. В исследовательской компании IDC прогнозируют, что среднегодовой прирост поставок таких автомобилей до 2025 года будет составлять 10,1%.
В 2024 году каждый пятый автомобиль в развитых регионах мира будет иметь уровень автономии 2, что означает наличие функций частичной автоматизации вождения. Не так давно компания Honda представила автомобиль с третьим уровнем автономии. Автомобилей с более высоким уровнем пока нет.
Отличие между безопасным надежным автономным транспортным средством и машиной, которая принимает туннель, нарисованный на кирпичной стене, за реальную автомагистраль — в программном обеспечении. Чтобы обучаться, автопилоту нужно отдавать и получать много данных. Например, NVIDIA развивает платформу DRIVE Hyperion, предназначенную для сбора данных, поступающих от множества камер, радаров и других устройств.
Чем оперативнее будет поступать, обрабатываться и отдаваться обратно информация, тем быстрее обучится система и выйдет на пока недоступные четвертый и пятый уровни. Для последнего нужно до 20 Тб в час в расчёте на автомобиль. Общий объём обучающих данных, полученных от группы таких автомобилей, составит не меньше 20 Пб в час — такой прогноз дали авторы публикации в Automative World.
Если смотреть не так далеко, то чтобы собрать достаточно информации для обучения систем автономных автомобилей уровней 2–4, исследовательская машина должна записывать до 150 Тб в день.
Современные компьютеры позволяют обрабатывать и отдавать подобные массивы данных — для задач ИИ подобного объёма это осуществляется в гипермасштабных дата-центрах. Системы хранения тоже предоставить не сложно — современный уровень развития технологий позволяет собрать такие серверные. Главная проблема — в передаче.
Например, чтобы переслать 1,5 Пб — объёма данных, созданного 10–20 исследовательскими автомобилями, — по гигабитному соединению корпоративного класса (~1000 Мбит/с) нужно больше 150 суток. Поэтому сегодня для таких огромных объёмов информации компании чаще используют физическое перемещение: с беспилотного автомобиля их записывают на жёсткие диски, отправляют самолётом или по земле до дата-центра, там расшифровывают и отправляют обратно — к ИИ.
Помимо того что это долго, подход довольно чувствителен с точки зрения безопасности: так проще перехватить и использовать данные для не самых чистоплотных задач. Существуют и регуляторные ограничения в вопросе использования персональной информации. В общем, таксисты могут спать спокойно до тех пор, пока не решится проблема работы с данными на периферии.
Из всего сказанного выше логичными видятся два способа решить проблему больших данных и ускорить эволюцию автопилотов: расширить возможности в передаче данных или перенести центры обработки информации на периферию, чтобы укоротить путь до ИИ.
По первому направлению нужно преодолеть слишком большой разрыв между возможным и желаемым. Вероятно, решение найдется в квантовых компьютерах и обслуживающих их квантовых коммуникациях, где с помощью кубитов можно записывать и передавать огромные массивы данных. Но первые результаты мы увидим минимум через девять лет, а полноценный квантовый интернет — больше идея будущего, чем настоящего. Разработки пока ведутся в лабораториях и на тестовых полигонах.
Второе направление на ближайшую перспективу более актуально. Например, часть обработки информации можно вынести за пределы ЦОД. Помогают «туманные вычисления», мобильные вычисления и «клауднет»:
Сами ЦОД могут тоже размещаться максимально близко к обслуживаемым автомобилям, например, на развязках автомагистралей и вдоль дорог. Автопилот сможет заезжать в такие остановочные пункты, чтобы быстро и безопасно «сбросить» данные и получить на них обратную связь.
Конечно, подобные ЦОД должны быть связаны в единую сеть для обмена информацией. Поскольку такая инфраструктура необходима и для глобальной системы умного города, способной снизить экологический след, затея не кажется расточительной. Например, в ноябре 2021 года власти Москвы выбрали 140 улиц, на которых будут тестироваться беспилотные автомобили. Ориентируясь на этот список, можно было бы развивать систему ЦОД, ориентированных на периферийные вычисления и информацию от беспилотников.
Следующим этапом развития сети ЦОД станет включение мобильных движимых объектов для обработки и обмена информацией по примеру существующих «автомобилей-жёстких дисков» или «полос для обмена данными» по примеру полос для зарядки электрокаров, что позволит обмениваться информацией прямо на ходу без остановок и сократить достижение четвёртого и пятого уровней автономности.