Сетевые хост-коммутаторы и гиперразмерные ЦОД
В прошлом выпуске была опубликована первая часть статьи о инфраструктуре трактов передачи данных и средств связи, часто называемой высокопроизводительными вычислениями. Эта инфраструктура управляется сетевыми коммутаторами современных центров обработки данных (ЦОД), осуществляющих гиперразмерные вычисления. В заключительной части статьи рассматривается новая парадигма проектирования.
Новая парадигма проектирования
Ожидается, что изготовление 51,2-Тбит ASIC-коммутатора начнется с проектных норм 5 нм и в конечном итоге перейдет на 3‑нм проектные нормы. На это в основном влияют более длительные циклы разработки и согласование с графиками развертывания перспективных технологических процессов кремниевых заводов. Это также зависит как от наличия, так и от использования параллельно-последовательных и последовательно-параллельных преобразователей (SerDes) с быстродействием 112 Гбит/с по сравнению с SerDes с быстродействием 56 Гбит/с – для улучшения соотношения таких параметров, как число трактов передачи данных, размер кристалла и потребляемая мощность (см. таблицу).
Таблица
Эволюция быстродействия хост-коммутаторов
Параметр |
2014 г. |
2018 г. |
2020 г. |
2022 г. |
2024 г. |
ASIC-коммутатор |
3,2 Тбит |
12,8 Тбит |
25,6 Тбит |
25,6Тбит |
51,2 Тбит |
Организация |
128х25 Гбит/с (NRZ*) |
128х25 Гбит/с (PAM4**) |
128х25 Гбит/с (PAM4) |
128х25 Гбит/с (PAM4) |
128х25 Гбит/с (PAM4) |
SerDes***-модуль |
100 Гбит/с |
200/400 Гбит/с |
400/800 Гбит/с |
>800 Гбит/с |
|
* NRZ (Non-Return to Zero) – кодирование без возврата к нулю, NRZ-кодирование
** PAM4 (4 Pulse Amplitude Modulation) – 4‑е поколение технологии импульсно-амплитудной модуляции для высокоскоростных межсоединений и передачи сигналов в ЦОД, использующих 400G Ethernet.
*** SERDES (SERialiser/DESerialiser) – параллельно-последовательный и последовательно-параллельный преобразователи
Другая возможность заключается в том, что сетевой коммутатор следующего поколения будет использовать дезагрегированный подход и вместо большого монолитного кристалла будут применяться несколько кристаллов меньших размеров. Такой подход выгоден в двух отношениях. Во-первых, чем меньше кристалл, тем выше его производительность, особенно когда размер кристалла приближен к ограничениям литографии/промежуточного шаблона. Увеличение выхода годных приводит к снижению издержек. Возможность повторного использования проверенных на физическом уровне высокоскоростных SerDes в виде чиплетов13 поможет ускорить вывод новой продукции на рынок и повысить эффективность раннего развертывания 51,2-Тбит ASIC-коммутаторов.
Однако этот сдвиг потребует пересмотра методологии проектирования. Переход от проектирования однокристальных приборов к проектированию многокристальных приборов требует большего внимания к ограничениям и границам конструкции кристалла, подложки и модуля. Высокоскоростной характер этих сложных «систем-на-кристалле» (SoC) создаст дополнительные трудности при проектировании и верификации. При быстродействии 100 Гбит/с SPICE14‑моделирование больше не подходит. Проектировщики должны учитывать влияние индуктивности, паразитных эффектов, эффектов линии передачи (замыканий), перекрестных помех и диэлектрических коэффициентов различных материалов и s-параметров, а также обеспечивать доступ приложений к моделям каналов.
Это приводит к усложнению тепловых расчетов вопрос стоит уже о большем, чем контроль температуры внутри кристалла. Также требуется отслеживать температурные градиенты по всему кристаллу и расположение тепловых горячих точек15. То есть теперь необходимо учитывать температуру во всей ее совокупности – от кристалла до интерпозера, от подложки модуля до теплоотвода. Даже выбор материалов для прикрепления кристалла и термопасты для теплоотвода становятся конструктивными соображениями. На этом уровне сложности проектирования нет места применению метода проб и ошибок.
Создание высокоскоростных сетевых SoC-коммутаторов было бы невозможно без ряда технологических инноваций. Помимо очевидных высокоскоростных устройств ввода-вывода (SerDes), для успеха необходим фундаментальный набор аппаратных СФ-блоков16. Другие обеспечивающие инновации включают высокопроизводительные процессорные ядра, встроенную память высокой плотности, высокоскоростные межсоединения (оптоволокно) и пропускную способность памяти наряду с интеграцией SoC.
Платформы проектирования SoC также должны включать СФ-ядра, такие как 112G-LR PHY, 56G-LR PHY, память с высокой пропускной способностью 2/3 PHY и PCI Express 5.0/4.0 PHY. Кроме того, необходим межкристальный СФ-протокол физического уровня с низким энергопотреблением – для поддержки многокристальной интеграции, дезагрегирования логики и устройств ввода-вывода при многокристальной реализации. Для управления переходом на 25,6-Тбит/с коммутатор и, в конечном счете, на 51,2-Тбит/с коммутатор требуется новая методология проектирования. Она должна включать в себя инструментальные средства проектирования на основе искусственного интеллекта, работу с перспективными технологиями корпусирования и другие аспекты проектирования микросхем, которые долгое время считались само собой разумеющимися.
Tom Wong. The Network Switch: Unsung Hero of the Hyper-Scale Data Center. EE Times, 10.05.2021 https://www.eetimes.com/the-network-switch-unsung-hero-of-the-hyper-scale-data-center/