Meta выпустила крупнейшую ИИ-модель Llama 3.1 с 405 млрд параметров

Компания Meta (признана в России экстремистской) объявила о выпуске крупнейшей на сегодняшний день открытой языковой модели искусственного интеллекта Llama 3.1, которая насчитывает более 400 миллиардов параметров.

Генеральный директор Meta Марк Цукерберг заявил, что новая модель сможет превзойти производительность GPT-4 уже в ближайшее время и к концу года стать самым популярным ИИ-помощником в мире.

По информации издания The Verge, разработка Llama 3.1 потребовала значительных инвестиций. Старшая версия модели, имеющая 405 миллиардов параметров, была обучена с использованием более 16 000 ускорителей H100 от NVIDIA. Хотя точная сумма вложенных средств не раскрывается, стоимость только чипов NVIDIA указывает на сотни миллионов долларов.

Несмотря на высокие затраты, Meta решила сделать код модели открытым (Open Source). В письме, опубликованном в официальном блоге компании, Цукерберг отметил, что ИИ-модели с открытым исходным кодом могут обогнать проприетарные модели, аналогично тому, как Linux стал доминирующей операционной системой с открытым исходным кодом.

Ключевым обновлением стало расширение географии доступности сервиса Meta AI, построенного на Llama. Ассистент теперь доступен в 22 странах, включая Аргентину, Чили, Колумбию, Эквадор, Мексику, Перу и Камерун. Кроме того, поддержка языков была расширена с английского на французский, немецкий, хинди, итальянский, португальский и испанский. Некоторые новые функции пока доступны только в определённых регионах или для конкретных языков.