Машины-монстры: Процессор-рекордсмен Cerebras значительно «прибавил в весе», плюс 1.4 триллиона транзисторов

Процессор Cerebras WSE 2

Пару лет назад мы уже рассказывали нашим читателям о монстрообразном процессоре Cerebras WSE, который на момент его появления стал самым большим в мире процессором. На кристалле этого процессора, площадью 46 225 квадратных миллиметров, размещалось 1,4 триллиона транзисторов, формирующих 400 тысяч вычислительных ядер и 18 гигабайт общей памяти. И недавно, представители компании Cerebras, штат которой увеличился более чем в два раза за прошедшее время, объявили о создании чипа следующего поколения, процессора Wafer Scale Engine 2 (WSE 2), производство которого начнется уже в третьем квартале этого года.

Процессор WSE 2 имеет те же самые физические размеры, что и его предшественник, но все его базовые показатели, включая производительность, увеличились в два и более раз. Целью создания процессора WSE 2 является обеспечение возможности реализации новых технологий глубинного машинного самообучения, обучения и работы нейронных сетей, размеры которых растут пропорционально сложности решаемых ими задач.

Напомним нашим читателям, что процессоры серии WSE создавались для решения проблемы с крайне медленным процессом обучения нейронных сетей. Такая медлительность этого процесса была обусловлена наличием узкого места в традиционной компьютерной архитектуре, в шине между процессором и внешней DRAM-памятью, по которой постоянно курсируют данные в обоих направлениях, буквально съедая процессорное время и энергию. Изобретатели архитектуры WSE решили, что им требуется сделать чип процессора достаточно большим для того, чтобы на нем помещалось такое количество вычислительных ядер и объем памяти, которых будет достаточно для выполнения сложных задач по обработке естественного языка, распознаванию объектов на видео и изображениях и т.п.

Ключевым моментом, который позволил увеличить все показатели процессора, WSE 2 стал переход с 16-нанометровой технологии сразу на 7-нанометровую технологию компании TSMC, минуя этап в 10 нанометров. Это позволило увеличить количество транзисторов на кристалле с 1.2 на 2.6 триллиона, объем памяти увеличился с 18 до 40 гигабайт, а количество вычислительных ядер увеличилось с 400 до 850 тысяч. Кроме этого, переход на новый техпроцесс позволил добиться 40-процентного увеличения производительности в пересчете на одно вычислительное ядро и 60-процентного снижения количества потребляемой энергии.

Вычислительная система CS-2

Кроме этого, инженеры компании Cerebras провели достаточно большую работу по улучшению микроархитектуры вычислительных ядер, которые, помимо улучшений существующих функций, приобрели массу новых возможностей.

Как уже упоминалось выше, чипы WSE и WSE 2 имеют одинаковый размер и внешний вид квадратной пластины со стороной в 300 миллиметров, визуально разделенной сеткой 7 на 12 ячеек, что связано с особенностями процесса производства. Кроме этого, внешне практически не изменилась компьютерная система Cerebras CS-2, которая, как и прежде, занимает треть стандартной серверной стойки и использует систему жидкостного охлаждения. Новая система потребляет около 20 кВт, что на 5 кВт больше чем у предшественника, часть этой энергии расходуется на обеспечение работы более миллиона электрических проводников, которые связывают чип процессора со всей остальной периферией.

Некоторые изменения коснулись и компилятора программ для системы WSE 2, который использует стандартные структуры данных, подготовленные распространенными программами, такими, как PyTorch и TensorFlow. Теперь этот компилятор самостоятельно и более качественно решает проблемы оптимизации, располагая слои нейронных сетей в памяти так, что перемещение данных по внутренней сети происходит практически без задержек, а в обработке этих данных в равной мере принимают участие все 850 тысяч вычислительных ядер.

Машины-монстрывсе о самых исключительных машинах, механизмах и устройствах в мире, от громадных средств уничтожения себе подобных до крошечных точнейших устройств, механизмов и всего того, что находится в промежутке между ними.

Share Button

Материалы по теме:

Новый экспериментальный фотонный чип обеспечивает скорость передачи данных в 44 терабита в секунду по обычному оптоволокну
Исследовательская группа, в состав которой входили ученые из университетов Монаша и RMIT, Австралия, стала обладателем своего рода рекорда по скорости передачи данных через стандартную ...
Превращение кремниевых транзисторов в кубиты позволит создать квантовые компьютеры с миллиардами кубитов
Исследователи из японского Института физико-химических исследований RIKEN разрабатывают технологию превращения кремниевых полевых транзисторов (metal-oxide-semiconductor field-effect transistor, MOSFET) в квантовые биты, кубиты, которые могут быть ...
Создан самый маленький электрооптический модулятор, размер которого сопоставим с размером бактерии
Электрооптические модуляторы являются одними из ключевых компонентов современных оптоволоконных коммуникационных сетей. Они представляют собой оптический аналог электронного транзистора, только вместо электрического тока они позволяют ...
Создан первый в своем роде спинтронный микроконтроллер, потребляющий 50 микроВатт при работе на частоте 200 МГц
Исследователи из университета Тохоку, Япония, объявили о создании первого в своем роде спинтронного микроконтроллера, который демонстрирует нам чудеса энергетической эффективности. В основе этого микроконтроллера ...
Каждый транзистор обладает своей квантовой подписью, которую можно использовать в качестве уникального идентификатора
Непосвященные люди считают, что электрический ток течет совершенно одинаково через одинаковые компоненты наших электронных устройств. Однако, на квантовом уровне электрический ток может быть изображен, ...
You can skip to the end and leave a response. Pinging is currently not allowed.

Leave a Reply

Яндекс.Метрика