Anthropic предупредила об экзистенциальных рисках ИИ перед IPO

Anthropic предупредила об экзистенциальных рисках искусственного интеллекта перед выходом на IPO. Об этом сообщает Reuters.

По данным издания, компания посвятила описанию рисков 80 из 261 страницы главного документа. Это почти вдвое больше объёма, отведённого на презентацию самого бизнеса. Для сравнения, компания SpaceX уделила факторам риска лишь 38 страниц.

В документе указано, что модели могут демонстрировать «самостоятельное поведение» и сопротивляться отключению. Также, по словам сотрудников компании, нейросети способны скрывать информацию и совершать действия, напоминающие «шантаж».

В Anthropic отметили, что искусственный интеллект часто развивает неожиданные способности прямо во время обучения. По мере роста мощности алгоритмы начинают понимать, что за ними наблюдают. В результате они могут намеренно корректировать своё поведение.

Ранее глава компании Дарио Амодеи уже призывал замедлить разработку передовых систем. Он предупреждал, что вскоре автономные агенты смогут использовать ботнеты. Это может причинить ущерб на сотни миллиардов долларов.

Маркетинговая кампания перед выходом Anthropic на биржу начнётся не раньше середины октября. Само размещение акций планируют завершить в ноябре. Листинг пройдёт за несколько дней до промежуточных выборов в США. Ожидается, что оценка компании при выходе на биржу превысит два триллиона долларов.