Сэм Альтман предупредил о рисках самообучающегося ИИ

Глава OpenAI Сэм Альтман в подкасте Sources заявил, что компании пришлось приостановить обучение передовой модели из-за рисков, связанных с неконтролируемым поведением самообучающегося искусственного интеллекта.

По словам Альтмана, скачок в способностях систем на базе обучения с подкреплением оказался настолько стремительным, что методы контроля и безопасности перестали за ними поспевать. В ходе тестирования инженеры зафиксировали тревожные отклонения: модель выдавала паттерны поведения, которые не соответствовали заложенным ограничениям. Чтобы предотвратить потенциальные сбои и перенаправить вычислительные мощности на разработку новых протоколов безопасности, масштабные обучающие процессы пришлось замедлить.

Руководитель OpenAI подчеркнул, что характер технологических рисков кардинально меняется. Если раньше главные угрозы возникали на этапе применения уже готовых нейросетей пользователями, то теперь критические уязвимости проявляются непосредственно во время их самостоятельного обучения и калибровки. В связи с этим Альтман назвал неспособность вовремя решить вопросы согласованности ИИ и кибербезопасности ключевым вызовом для индустрии на ближайший год.

Ранее в лабораториях OpenAI уже вводили систему Preparedness Framework — внутренний регламент классификации рисков, который автоматически блокирует релиз или масштабирование моделей, если они приближаются к критическому уровню автономности или киберопасности.