Andromeda AI — суперкомпьютер для искусственного интеллекта, собранный на самых больших чипах на сегодняшний день

Суперкомпьютер Andromeda AI

На днях представители компании Cerebras Systems анонсировали свой суперкомпьютер под названием Andromeda AI, имеющий в своем составе 13.5 миллионов вычислительных ядер, и предназначенный для решения задач из области искусственного интеллекта и глубинного машинного обучения. Согласно имеющейся информации, Andromeda имеет производительность в 1 экзафлоп (1 квинтильон операций в секунду) при расчетах чисел с половинной 16-битной точностью, широко используемых при построении искусственных нейронных сетей.

Andromeda AI представляет собой кластер из 16 соединенных друг с другом компьютеров Cerebras CS-2. Сердцем каждого из компьютеров CS-2 является чип WSE-2 (Wafer Scale Engine), кристалл которого представляет собой квадрат со стороной 21.59 сантиметра (8.5 дюймов) и который является самым большим в мире кремниевым чипом на сегодняшний день. На поверхности этого чипа расположены 2.6 триллиона транзисторов, организованные в 850 тысяч вычислительных ядер.

Суперкомпьютер Andromeda AI был построен в помещении датацентра в Санта-Кларе, Калифорния, его сооружение обошлось в 25 миллионов американских долларов. «Andromeda, за счет реализации крупномасштабного параллелизма, представляет собой идеальную вычислительную систему для больших языковых моделей GPT-класса» — пишут представители компании Cerebras, — «Суперкомпьютер эффективно работает с моделями GPT-3, GPT-J и GPT-NeoX, и уже используется для решения задач из академической и коммерческой областей».

Согласно информации от представителей компании Cerebras Systems, подключение в общую систему большого количества единиц компьютеров CS-2 обеспечивает уменьшение времени обучения нейронных сетей в «идеальной обратной пропорции». И в его нынешней конфигурации суперкомпьютер Andromeda AI способен решать задачи, которые не по зубам системам, построенным на базе графических процессоров.

Чип WSE-2

«Возможности системы Andromeda AI были продемонстрированы на расчетах модели GPT-J с 2.5 и 25 миллиардами параметров, использующими по 10240 длинных последовательностей (MSL). Полученные в ходе этих тестов результаты были весьма близки к идеальным, а вот другая исследовательская группа, пытавшаяся повторить все это на системе Polaris с 2 тысячами вычислительных узлов на базе Nvidia A100, потерпела неудачу из-за ограниченной пропускной способности системы памяти и памяти графических процессоров».

Конечно, суперкомпьютер Andromeda AI выглядит не очень по сравнению с самыми быстрыми из традиционных суперкомпьютеров. Самый мощный суперкомпьютер, Frontier, находящийся в Национальной лаборатории Ок-Ридж, обеспечивает 1.103 экзафлопса при операциях с двойной 64-битной точностью. Однако, сооружение Frontier обошлось в более чем в 20 раз большую сумму, в 600 миллионов американских долларов, он занимает гораздо большую площадь и потребляет значительно большее количество энергии для работы, чем Andromeda AI.

В настоящее время заинтересованные организации могут получить удаленный доступ к системе Andromeda AI. И уже сейчас в число пользователей этого суперкомпьютера входят специалисты из Кембриджского университета, Национальной лаборатории Аргонна, компании JasperAI и некоторых других организаций, занимающихся проблемами искусственного интеллекта.

Ключевые слова:
Andromeda, Cerebras, CS-2, Суперкомпьютер, Процессор, WSE-2, Вычислительная, Мощность, Искусственный, Интеллект

Первоисточник

Другие новости по теме:

  • Cerebras CS-1 — самый маленький суперкомпьютер для искусственного интеллекта, построенный на базе самых больших процессоров
  • Машины-монстры: Cerebras — самый большой в мире процессор, предназначенный для искусственного интеллекта
  • Система искусственного интеллекта разнесла в пух и прах суперкомпьютер на задаче масштабного моделирования
  • Машины-монстры: Процессор-рекордсмен Cerebras значительно «прибавил в весе», плюс 1.4 триллиона транзисторов
  • Введен в строй новый и самый быстрый суперкомпьютер в мире, предназначенный для задач искусственного интеллекта
  • Share Button

    Материалы по теме:

    Этический кодекс ИИ: компания Bosch устанавливает принципы работы с искусственным интеллектом
    - Этический кодекс ИИ: компания Bosch разработала специальное руководство для сотрудников и обозначила свою позицию в дебатах вокруг ИИ.- Главные принципы: ИИ должен быть ...
    Найден новый способ выполнения сложных квантовых алгоритмов на традиционных компьютерах
    Группа исследователей из Швейцарского федерального политехнического университета Лозанны (Swiss Ecole Polytechnique Federale de Lausanne, EPFL) и Колумбийского университета нашла новый способ выполнения сложных квантовых ...
    Создан самый большой на сегодняшний день квантовый симулятор, содержащий 256 кубитов
    Группа ученых-физиков из Гарвардского университета, Массачусетского технологического института и других научных учреждений разработала и создала специальный тип квантового компьютера, называемого программируемым квантовым симулятором, в ...
    Создан первый квантовый процессор, состоящий исключительно из «переплетенного» света
    Международная группа ученых из Австралии, Японии и Соединенных Штатов создала опытный образец крупномасштабного квантового процессора, состоящего исключительно из лазерного света. Концепция такого процессора была ...
    MusicLM — система ИИ от Google, которая может создавать музыку любого жанра
    Недавно специалисты подразделения компании Google, занимающиеся исследованиями в области искусственного интеллекта, опубликовали данные о новой системе под названием MusicLM, системе, способной создать музыку любого ...
    You can skip to the end and leave a response. Pinging is currently not allowed.

    Leave a Reply

    Яндекс.Метрика