Сетевые хост-коммутаторы и гиперразмерные ЦОД

Сетевые хост-коммутаторы и гиперразмерные ЦОД

Выпуск 21(6745) от 28 октября 2021 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

Обычно низкая потребляемая мощность ассоциируется с устройствами, работающими от аккумуляторных батарей, такими как смартфоны, умные часы и ноутбуки. При этом существует несколько других менее очевидных приложений, в которых низкое энергопотребление оказывает значительное влияние на повседневную жизнь человека. Одним из таких примеров является вся инфраструктура трактов передачи данных и средств связи, часто называемая высокопроизводительными вычислениями, управляемая сетевыми коммутаторами современного центра обработки данных (ЦОД), осуществляющего гиперразмерные вычисления.

В связи с бурным ростом онлайн-активности, обусловленным работой на дому, многие отрасли промышленности сообщают об существенном расширении использования Интернета и электронной коммерции. Люди работают, учатся, играют в домашних условиях, занимаются электронной коммерцией и онлайн-доставкой, телемедициной, виртуальным фитнесом и множеством других виртуальных мероприятий. И все это, похоже, перемещается в сферу облачных технологий.

В начале 2010‑х гг. почти 40 % опрошенных крупных компаний заявили, что в течение ближайших двух лет планируют расширить свои возможности в области информационных технологий (ИТ). Почти десятилетие спустя практически все предприятия, независимо от размера или сектора, в значительной степени полагаются на ИТ-технологии для расширения и оптимизации своей деятельности. Более чем -когда-либо доступ к огромным объемам данных жизненно важен для их успеха. Для обеспечения возможности быстрой обработки всех необходимых данных предприятиям необходимо расширять свои вычислительные мощности и ресурсы хранения. Ресурсы хранения широко предоставляются провайдерами облачных услуг, создающими повсеместно огромные ЦОД, одновременно ускоряя внедрение технологий следующего поколения (рис. 1).



Источник: Cadence

Рисунок 1. Архитектура центра обработки данных и все уровни сети ЦОД.

* Spine Switchers – переключатели ядра сети, переключатели маршрутизирующих коммутаторов, уровень Spine в сетевой топологии Leaf-Spine

** Leaf Switchers – переключатели коммутаторов доступа, уровень Leaf в сетевой топологии Leaf-Spine


Гиперразмерные технологии

При рассмотрении вопроса о ЦОД, специализирующемся на гиперразмерных вычислениях3, первое, что обычно приходит на ум, – ​это надежный серверный процессор. Производительность и энергосбережение достигаются за счет очень предсказуемого масштабирования архитектуры x86. Мы также стали свидетелями переноса вычислительной мощности на вентильные матрицы, программируемые пользователем (FPGA), графические процессоры и, совсем недавно, на заказные «системы-на-кристалле» (SOC), разработанные собственными группами разработчиков гигантских Интернет-корпораций. С каждым последующим этапом технологического развития процессоры до недавнего времени совершенствовались очень предсказуемым образом, определенным т. н. «Законом Мура4». Другими важными компонентами гиперразмерного ЦОД являются проводная и беспроводная связь, сеть и хранилище (данных). Они также демонстрируют естественный прогресс в совершенствовании благодаря новейшим стандартам Ethernet и сетей, а также новейшим технологиям памяти, высокоскоростного подключения и хранения.

Стремление к использованию облачных технологий в первую очередь затрагивает такие приборы и технологии, как серверные процессоры, искусственный интеллект, перспективные типы памяти с расширенными возможностями и многокристальные модули. Часто ограничение производительности не связано с производительностью процессора или типом используемой технологии перспективных схем памяти. Скорее всего, узким местом являются сеть и подключение. То, как быстро данные могут перемещаться между серверами в стойке, между стойками, между зданиями, между кампусами и, в конечном счете, в сети Интернет, также является ключевым фактором.

Невоспетый герой, лежащий в основе этой критически важной инфраструктуры, – ​сетевой коммутатор. В течение короткого пятилетнего периода скорость сетевого хост-коммутатора удваивалась каждые два года – ​с 3,2 Тбит/с в 2015 г. до 12,8 Тбит/с в 2019 г. и 25,6 Тбит/с в 2020 г. (рис 2).



Источник: Cadence

Рисунок 2. Эволюция быстродействия хост-коммутаторов.

1 ASIC (Application-Specific Integrated Circuit) – специализированная (проблемно-ориентированная) ИС, заказная ИС. Микросхема для выполнения набора специальных функций, обычно разрабатываемая под конкретного заказчика.

2 SERDES (SERialiser/DESerialiser) – параллельно-последовательный и последовательно-параллельный преобразователи

3 NRZ (Non-Return to Zero) – кодирование без возврата к нулю, NRZ-кодирование

4 PAM4 (4 Pulse Amplitude Modulation) – 4‑е поколение технологии импульсно-амплитудной модуляции для высокоскоростных межсоединений и передачи сигналов в ЦОД, использующих 400G Ethernet.

5 ReTimer – ретаймер, шинный преобразователь скорости передачи данных

6 GearBox – GearBox-преобразователь скорости передачи данных


До рубежа 51,2 Тбит/с осталось не так далеко, особенно с учетом достижений в области разработки высокоскоростных параллельно-последовательных и последовательно-параллельных преобразователей (SERialiser/DESerialiser, SerDes), что привело к созданию однополосных приборов дальнего действия со скоростью передачи данных 112 Гбит/с. Это привело к увеличению пропускной способности модуля со 100 Гбит/с в 2015 г. до 200/400 Гит/с в 2019 г. Сейчас разработчики и пользователи находятся на пороге масштабного развертывания средств с быстродействием от 400 Гбит/с до 800 Гбит/с – ​это произойдет в течение следующих двух-трех лет. Одна из причин – ​совершенствование оптических компонентов, переходящих от быстродействия 28 Гбод/с до 56 Гбод/с. Этот переход начался в 2019 г. Все эти изменения совпадают с переходом от кодирования без возврата к нулю (non-return-to-zero, NRZ) к кодированию с использованием модуляции более высокого уровня – ​PAM4 (амплитудно-импульсная модуляция 4‑уровня), которое намного эффективнее.

Краткий обзор того, что доступно на коммерческом рынке, показывает, что большинство 12,8-Тбит SоC производятся по 16‑нм проектным нормам. Для 25,6-Тбит SоC с конца 2019 г. осуществлен переход на 7‑нм проектные нормы с началом массового производства в 2020 г. В 25,6-Тбит SоC первого поколения использовалось SerDes с быстродействием 50 Гбит/с – ​лучшая технология, доступная в то время. Более поздние сообщения указывают на то, что на рынок наконец выведены SerDes с быстродействием 100 Гбит/с. Ожидается переход основной массы выпускаемых SerDes по быстродействию с 50 Гбит/с на 100 Гбит/с, а по проектным нормам – ​7‑нм к 5‑нм технологическому процессу.

Преимущества весьма значительны. Рассмотрим 25,6-Тбит/с коммутатор: если в нем используется SerDes с быстродействием 50 Гбит/с, то потребуется 512 полос. Если применяется 100-Гбит/с SerDes, число полос передачи данных сокращается до 256. Сокращение площади кристалла и энергопотребления в результате такого резкого сокращения числа полос весьма значительно. Надо учитывать, что каждая из ASIC с сетевой коммутацией потребляет много энергии, более 300 Вт!

Продолжение следует…


Tom Wong. The Network Switch: Unsung Hero of the Hyper-Scale Data Center. EE Times, 10.05.2021 https://www.eetimes.com/the-network-switch-unsung-hero-of-the-hyper-scale-data-center/


ЧИТАЙТЕ ТАКЖЕ