Память HBM3 и проектирование ИС

Память HBM3 и проектирование ИС

Выпуск 22(6746) от 11 ноября 2021 г.
РУБРИКА: МИКРОЭЛЕКТРОНИКА

Растущий спрос на повсеместное увеличение пропускной способности – ​от высокопроизводительных вычислений и обучения искусственного интеллекта до игр и автомобильных приложений, стимулирует разработку следующего поколения памяти с высокой пропускной способностью. Такая память, HBM3, предлагает увеличение пропускной способности и емкости этажерки памяти в 2 раза, а также некоторые другие преимущества. То, что -когда-то считалось «медленной и широкой» технологией памяти для уменьшения задержек трафика сигналов во внекристальной памяти, превращается в значительно более быстродействующие решения, область применения которых расширяется. В некоторых случаях HBM3 даже используется в качестве кэша 4‑го уровня (L4).

Новые возможности позволят достичь следующего уровня энергоэффективности (в джоулях на бит передаваемых данных) и увеличения числа проектов с использованием решений на основе только HBM35‑памяти без применения дополнительной встроенной памяти. Преимущества дополнительной пропускной способности могут использоваться приложениями в области искусственного интеллекта/машинного обучения (ИИ/МО), высокопроизводительных вычислений (HPC) и анализа данных – ​для сохранения производительности при масштабировании. Правильное использование пропускной способности HBM3 требует сбалансированности конструкции процессора с внутрикристальными широкополосными сетями и элементами обработки, настроенными на максимальную скорость передачи данных с повышенным уровнем параллелизма на уровне памяти.

Обучающим ИС искусственного интеллекта обычно требуется терабайт информации для обработки необработанных данных, и HBM3 достигает этого уровня. Пользователи стремятся увеличить пропускную способность, разрабатывая специализированные ИС (ASIC6), чтобы создать оптимальные возможности для решения проблем искусственного интеллекта. Все пытаются придумать более эффективный процессор для реализации своих конкретных нейронных сетей, а также реализовать эти сети наиболее эффективно с лучшим использованием памяти, лучшей загрузкой центрального процессора. HBM память была выбрана для обучения ИИ потому что она обеспечивает наибольшую пропускную способность, оптимальные потребляемую мощность и площадь кристалла. Это немного дороже, по сравнению с другими возможными решениями, но для этих приложений – ​особенно для перехода в облако – ​такое можно себе позволить. При использовании нескольких HBM кристаллов на интерпозере7 реального барьера не возникает. HBM3 на самом деле просто естественная эволюция предшествующих подходов (рис. 1).



Источник: Rambus/SK Hynix

Рисунок 1. Сопоставление быстродействия устройств ввода/вывода различных поколений HBM


Хотя JEDEC8 не опубликовал подробную информацию о еще не утвержденной спецификации HBM3, корпорация Rambus сообщает, что пропускная способность ее подсистемы HBM3 увеличится до 8,4 Гбит/с по сравнению с 3,6 Гбит/с для HBM2E. Ожидается, что продукты, реализующие спецификации HBM3, появятся на рынке в начале 2023 г.

Применение HBM3 полезно там, где ключевым показателем производительности кристалла ИС является пропускная способность памяти в пересчете на ватт потребляемой мощности. Или в тех случаях, когда использование HBM3 является единственным способом достижения требуемой пропускной способности. Высокая пропускная способность и эффективность достигаются за счет включения в систему (по сравнению с подходами на основе печатных плат) дополнительных кристаллов ИС ЗУ, таких как DDR59, LPDDR510/5X или GDDR611, и потенциально приводит к увеличению затрат на производство/сборку/товарно-материальные запасы. Дополнительные кристаллы ИС ЗУ обычно являются промежуточным элементом, а также базовым кристаллом под каждой этажеркой HBM3 ДОЗУ.


Почему это имеет значение

За десятилетие, прошедшее с появления HBM, на рынок вышло 2,5 поколения стандарта. За это время объем созданных, собранных, скопированных и потребленных данных увеличился, по данным ресурса Statista, с 2 ЗБайт12 в 2010 г. до 64,2 ЗБайт в 2020 г. В 2025 г. этот показатель вырастет почти в три раза до 181 ЗБайт.

Наряду с этим, конструкции ИС становятся все более сложными, в них встраиваются специализированные ускорители, внутрикристальная и внутримодульная память, интерфейсы – ​для обеспечения ускорения обработки данных. Разработчики все чаще рассматривают HBM как способ вывести гетерогенную распределенную обработку данных на совершенно другой уровень.

Первоначально поставщики графических ИС рассматривали память с высокой пропускной способностью как явный шаг в эволюционном направлении, но затем сообщество сетевых центров и центров обработки данных (ЦОД) осознало, что HBM может добавить новый уровень памяти в их иерархии памяти для увеличения пропускной способности и улучшения параметров других элементов, являющихся движущими факторами развития ЦОД – ​ускорение доступа, уменьшение времени ожидания, времени задержки и потребляемой мощности. Как правило, центральные процессоры оптимизированы по производительности, в то время как ускорители и графические процессоры оптимизированы по пропускной способности. Однако с экспоненциально растущими размерами моделей наблюдается постоянный спрос как на производительность, так и на пропускную способность без ухудшения параметров одного фактора за счет другого. Также заметно увеличение числа уровней этажерок памяти, которое включает поддержку программно-видимого HBM плюс DDR, и программное прозрачное кэширование, которое использует HBM в качестве кэша с поддержкой DDR. Помимо процессоров и графических процессоров, HBM также популярна в таких применениях, как вентильные матрицы, программируемые пользователем (FPGA), используемые в ЦОД.

Схемы HBM изначально предназначались для замены других типов ИС ЗУ, таких как GDDR, которые продвигаются некоторыми ведущими полупроводниковыми корпорациями, в частности Nvidia и AMD. Эти компании по-прежнему активно развивают эту технологию в рамках одной из целевых групп JEDEC, где представитель Nvidia является председателем, а специалисты AMD – ​одними из основных участников.

Для графических процессоров сегодня есть два варианта дальнейшего развития. Первый связан с продолжением использования GDDR с множеством устройств вокруг «системы-на-кристалле» (SoC). Другой вариант – ​применять вместо них HBM. Это обеспечит увеличение пропускной способности и уменьшение числа интерфейсов физического уровня при работе. Компромисс заключается в более высокой стоимости второго подхода в целом. Еще одно преимущество заключается в том, что при меньшем числе физических интерфейсов снижается энергопотребление. GDDR – ​это очень энергоемкий интерфейс, но HBM – ​это супер энергоэффективный интерфейс. Итак, в конце концов, возникает реальный вопрос, который задает клиент: «На что лучше потратить деньги?» С нескольких точек зрения HBM3 начинает выглядеть все предпочтительнее.

Отраслевые аналитики отмечают следующий интересный момент: при первоначальном выводе на рынок схем HBM2/HBM2E они были ориентированы на определенные нишевые применения. При этом основными, если не единственными потребителями, были корпорации AMD и Nvidia. Теперь же у схем у HBM2/HBM2E сформировалась очень большая клиентская база. Ожидается, что она значительно расширится тогда, когда технология HBM3 в конечном итоге будет ратифицирована JEDEC.

Продолжение следует…


Ann Steffora Mutschler. HBM3: Big Impact On Chip Design. Semiconductor Engineering, October 14th, 2021 https://semiengineering.com/hbm3s-impact-on-chip-design/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.
Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.