Читать первым в Telegram-канале «Код Дурова»
В сотрудничестве с некоммерческой исследовательской организацией OpenAI, основателями которой являются Илон Маск и Сэм Альтман, Microsoft разработала новый суперкомпьютер на базе облака Azure. Об этом сообщили в пресс-службе компании.
На основе открытых данных рейтинга TOP 500 Supercomputers, суперкомпьютер от Microsoft входит в пятёрку самых мощных в мире. Он представляет собой единую систему с более чем 285 000 процессорных ядер (CPU core), 10 000 графических процессоров (GPU) и скоростью сетевого подключения 400 гигабит в секунду для каждого сервера. Суперкомпьютер создан для выполнения широкого спектра функций, требующих больших вычислительных ресурсов, с целью разработки следующего поколения массивных ИИ-моделей.
Исторически эксперты по машинному обучению разрабатывали небольшие ИИ-модели, способные выполнять какую-то одну отдельную задачу, однако сообщество специалистов по искусственному интеллекту пришло к выводу, что одна большая модель эффективнее справляется с задачами. Например, обученная на миллиардах страниц публично доступных текстов, такая модель намного тоньше понимает нюансы речи, грамматику, концепции и контекст, и способна одновременно выполнять несколько задач.
В Microsoft разработали самую крупную из существующих на данный момент языковую модель Turing Natural Language Generation (T-NLG), которая включает в себя 17 миллиардов параметров. Она входит в собственное семейство Microsoft Turing models.
