Сетевые хост-коммутаторы и гиперразмерные ЦОД

Сетевые хост-коммутаторы и гиперразмерные ЦОД

Выпуск 22(6746) от 11 ноября 2021 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

В прошлом выпуске была опубликована первая часть статьи о инфраструктуре трактов передачи данных и средств связи, часто называемой высокопроизводительными вычислениями. Эта инфраструктура управляется сетевыми коммутаторами современных центров обработки данных (ЦОД), осуществляющих гиперразмерные вычисления. В заключительной части статьи рассматривается новая парадигма проектирования.

Новая парадигма проектирования

Ожидается, что изготовление 51,2-Тбит ASIC-коммутатора начнется с проектных норм 5 нм и в конечном итоге перейдет на 3‑нм проектные нормы. На это в основном влияют более длительные циклы разработки и согласование с графиками развертывания перспективных технологических процессов кремниевых заводов. Это также зависит как от наличия, так и от использования параллельно-последовательных и последовательно-параллельных преобразователей (SerDes) с быстродействием 112 Гбит/с по сравнению с SerDes с быстродействием 56 Гбит/с – ​для улучшения соотношения таких параметров, как число трактов передачи данных, размер кристалла и потребляемая мощность (см. таблицу).


Таблица

Эволюция быстродействия хост-коммутаторов

Параметр

2014 г.

2018 г.

2020 г.

2022 г.

2024 г.

ASIC-коммутатор

3,2 Тбит

12,8 Тбит

25,6 Тбит

25,6Тбит

51,2 Тбит

Организация

128х25 Гбит/с

(NRZ*)

128х25 Гбит/с

(PAM4**)

128х25 Гбит/с

(PAM4)

128х25 Гбит/с

(PAM4)

128х25 Гбит/с

(PAM4)

SerDes***-модуль

100 Гбит/с

200/400 Гбит/с

400/800 Гбит/с

>800 Гбит/с

* NRZ (Non-Return to Zero) – ​кодирование без возврата к нулю, NRZ-кодирование

** PAM4 (4 Pulse Amplitude Modulation) – ​4‑е поколение технологии импульсно-амплитудной модуляции для высокоскоростных межсоединений и передачи сигналов в ЦОД, использующих 400G Ethernet.

*** SERDES (SERialiser/DESerialiser) – ​параллельно-последовательный и последовательно-параллельный преобразователи


Другая возможность заключается в том, что сетевой коммутатор следующего поколения будет использовать дезагрегированный подход и вместо большого монолитного кристалла будут применяться несколько кристаллов меньших размеров. Такой подход выгоден в двух отношениях. Во-первых, чем меньше кристалл, тем выше его производительность, особенно когда размер кристалла приближен к ограничениям литографии/промежуточного шаблона. Увеличение выхода годных приводит к снижению издержек. Возможность повторного использования проверенных на физическом уровне высокоскоростных SerDes в виде чиплетов13 поможет ускорить вывод новой продукции на рынок и повысить эффективность раннего развертывания 51,2-Тбит ASIC-коммутаторов.

Однако этот сдвиг потребует пересмотра методологии проектирования. Переход от проектирования однокристальных приборов к проектированию многокристальных приборов требует большего внимания к ограничениям и границам конструкции кристалла, подложки и модуля. Высокоскоростной характер этих сложных «систем-на-кристалле» (SoC) создаст дополнительные трудности при проектировании и верификации. При быстродействии 100 Гбит/с SPICE14‑моделирование больше не подходит. Проектировщики должны учитывать влияние индуктивности, паразитных эффектов, эффектов линии передачи (замыканий), перекрестных помех и диэлектрических коэффициентов различных материалов и s-параметров, а также обеспечивать доступ приложений к моделям каналов.

Это приводит к усложнению тепловых расчетов вопрос стоит уже о большем, чем контроль температуры внутри кристалла. Также требуется отслеживать температурные градиенты по всему кристаллу и расположение тепловых горячих точек15. То есть теперь необходимо учитывать температуру во всей ее совокупности – ​от кристалла до интерпозера, от подложки модуля до теплоотвода. Даже выбор материалов для прикрепления кристалла и термопасты для теплоотвода становятся конструктивными соображениями. На этом уровне сложности проектирования нет места применению метода проб и ошибок.

Создание высокоскоростных сетевых SoC-коммутаторов было бы невозможно без ряда технологических инноваций. Помимо очевидных высокоскоростных устройств ввода-вывода (SerDes), для успеха необходим фундаментальный набор аппаратных СФ-блоков16. Другие обеспечивающие инновации включают высокопроизводительные процессорные ядра, встроенную память высокой плотности, высокоскоростные межсоединения (оптоволокно) и пропускную способность памяти наряду с интеграцией SoC.

Платформы проектирования SoC также должны включать СФ-ядра, такие как 112G-LR PHY, 56G-LR PHY, память с высокой пропускной способностью 2/3 PHY и PCI Express 5.0/4.0 PHY. Кроме того, необходим межкристальный СФ-протокол физического уровня с низким энергопотреблением – ​для поддержки многокристальной интеграции, дезагрегирования логики и устройств ввода-вывода при многокристальной реализации. Для управления переходом на 25,6-Тбит/с коммутатор и, в конечном счете, на 51,2-Тбит/с коммутатор требуется новая методология проектирования. Она должна включать в себя инструментальные средства проектирования на основе искусственного интеллекта, работу с перспективными технологиями корпусирования и другие аспекты проектирования микросхем, которые долгое время считались само собой разумеющимися.


Tom Wong. The Network Switch: Unsung Hero of the Hyper-Scale Data Center. EE Times, 10.05.2021 https://www.eetimes.com/the-network-switch-unsung-hero-of-the-hyper-scale-data-center/


ЧИТАЙТЕ ТАКЖЕ