ВЫБОР РЕДАКЦИИ

Современное состояние и перспективы развития рынка САПР

Новые разработки стартапа SambaNova

Micron отказывается от 3D Xpoint ради CXL

Перспективы развития микроконтроллеров с краевым искусственным интеллектом

Проблемы разработки программно-управляемого аппаратного обеспечения

Искусственный интеллект – перспективы развития

Наступление эры искусственного интеллекта реального масштаба времени

Искусственный интеллект и увеличение интереса к краевым вычислениям

Бесшовная связь – становой хребет Четвертой промышленной революции

Использование биометрии в Сухопутных войсках США

Вопросы развития краевых вычислений

Машинное обучение открывает новые возможности FPGA

Материалы Симпозиума SEMI по промышленной политике

Teraki совершает «квантовый скачок» в сфере больших данных

Бум стартапов во Франции

Материалы Симпозиума SEMI по промышленной политике

Вопросы развития краевых вычислений

Экономические аспекты развития технологий искусственного интеллекта

О перспективах рынка потребительской электроники

Средства искусственного интеллекта учатся распознавать звуки

Превосходство КНР в области искусственного интеллекта: правда или миф?

Новые тенденции использования машинного обучения при проектировании и обработке изображений

Материалы 65-й Международной конференции по электронным приборам

FanFET – новая транзисторная структура для 3D-флэш-памяти NAND-типа

Влияние пандемии COVID‑19 на индустрию схем памяти

Китайская технология 3D-флэш-памяти NAND-типа

CEA-Leti продолжает работы по 6G в D-диапазоне

Маршрутная карта развития технологий 6G

Маршрутная карта развития технологий 6G

Перспективы развития сетей Ethernet

Некоторые проблемы развития памяти с высокой пропускной способностью

Некоторые проблемы развития памяти с высокой пропускной способностью

Выпуск 9 (6708) от 15 мая 2020 г.
РУБРИКА: МИКРОЭЛЕКТРОНИКА

Развитие вычислительных систем, средств связи и ряда других направлений требует создания памяти с высокой пропускной способностью. Сейчас на рынок уже выходят изделия второго поколения таких приборов, в скором времени могут появиться и схемы третьего поколения. Разработкой приборов HBM и инструментальных средств их проектирования занимаются многие известные фирмы, включая AMD, ARM, ANSYS, Cadence, Rambus, Synopsys и т. д.

На протяжении долгого времени сохраняется существенное отставание темпов роста производительности интерфейсов памяти от темпов роста производительности вычислений. Иными словами, пропускная способность памяти оказывается узким местом в большинстве систем, что, в свою очередь, ограничивает объем полезных вычислений. Если это узкое место удастся «расшить» сколь-нибудь значительным образом, то общий объем возможных вычислений увеличится и на первый план выйдут проблемы теплоотвода.


Проблемы памяти

Связь между вычислениями и памятью настолько укоренилась, что специалисты полупроводниковой промышленности редко подвергают ее сомнению. Оказывает ли кэш-память положительное влияние на потребляемую мощность и производительность? Ответ не всегда утвердителен. Преимущества кэша предполагают определенные, отнюдь не универсальные способы доступа к памяти. Логическое моделирование – ​один из примеров, когда кэш замедляет производительность, если его объем недостаточен. И этот пример не единственный.

На протяжении многих лет при развитии технологии памяти создавались различные режимы доступа к данным. Например, стандарты DDR6- интерфейсов подразумевают дальнейшее увеличение размера блока, доступ к которому осуществляется при каждом обращении к памяти, поскольку это единственный способ увеличить общую пропускную способность.

Частью этого подхода стало сосредоточение усилий на интерфейсе – ​чтобы преодолеть фундаментальные ограничения самой памяти. Приборы ДОЗУ остаются аналоговыми, и параметры синхронизации, с которыми специалисты имеют дело в части устройств ввода–вывода ДОЗУ, все еще очень похожи на то, что существовало 20 лет назад. Все, что было сделано за это время для повышения быстродействия, реализовано на физическом уровне.

Если нельзя увеличить быстродействие самой памяти, можно создать несколько параллельно считывающихся банков, а затем передавать считанные данные с максимальной скоростью. Подход предполагает локальность данных, в противном случае такой способ передачи становятся слишком дорогим. Это одна из причин, по которой все привлекательнее выглядит обработка данных по максимуму в оперативной памяти (in-memory), за счет чего можно резко сократить объем передаваемых данных.

Многие из ограничений, присущих традиционной памяти, решаются в рамках новых областей применения. Один из примеров этого – ​приложения искусственного интеллекта (ИИ), где баланс вычислительной мощности и скорости передачи данных может достигаться при помощи памяти с высокой пропускной способностью (high-bandwidth memory, HBM).


Проблемы памяти с высокой пропускной способностью

Приборы НВМ не предлагают принципиальных изменений в технологии памяти, являясь, по сути, ДОЗУ. Таким образом, этот тип памяти страдает от тех же ограничений и проблем, что и ДОЗУ, доступ к которому осуществляется через DDR-интерфейс, однако возникают и новые негативные моменты.

Тепловыделение. При избыточном тепловыделении работа ДОЗУ становится менее предсказуемой. В рамках HBM-решения кристаллы ДОЗУ перемещаются ближе к основным генераторам тепла – ​процессорам. Проблема настолько остра, что даже несмотря на то, что технология HBM изначально базировалась на 3D-этажировании с размещением памяти поверх кристалла процессора, эту идею пришлось отложить из-за проблем тепловыделения. Таким образом, шагом вперед стало 2,5D-корпусирование (см. рисунок).



Источник: Rambus

Память с высокой пропускной способностью, интегрированная в модуль

* TSV (through-silicon via) – одна из технологий 2,5- и 3D-корпусирования, предполагающая этажерочное расположение кристаллов или ядер кристаллов с формированием межсоединений сквозь подложку ИС или кремниевую пластину с целью экономии занимаемого пространства, снижения потребляемой мощности и увеличения производительности и скорости внутрисхемной связи.


Емкость. Емкость HBM ограничена по сравнению с ДОЗУ, доступ к которому осуществляется через DDR-интерфейс. Даже при увеличении емкости HBM никогда не сможет догнать внешнюю память, поскольку в технологиях внешней памяти также используется каждое усовершенствование, внедряемое в модулях и технологиях корпусирования.

Стоимость. При формировании HBM используются интерпозеры, а это все еще относительно новая технология, требующая изготовления структур, сходных с печатными платами.


Проблемы емкости HBM

Одна из особенностей HBM – ​фиксированная конфигурация. В отличие от стандартного DDR-интерфейса с возможностью создания нескольких каналов, HBM состоит из достаточно жестко организованных типовых элементов («кубиков»). Каждый «кубик» может по высоте состоять из 4, 8 или 12 устройств, а в рамках архитектуры HBM3 – ​из 16 устройств. В «кубиках» доступно определенное число каналов данных – ​либо 16 каналов шириной 128 бит, либо 32 канала данных шириной 64 бита («псевдоканалы»).

Добавить произвольное количество «кубиков» разработчик не может из-за использования кремниевых интерпозеров, длина которых ограничена несколькими миллиметрами, и изменить это пока не удается. У всех представленных на сегодняшний день реализаций физическая длина интерфейса ограничена, что, в свою очередь, ограничивает количество HBM-кристаллов, которые можно разместить вокруг «системы-на-кристалле» (SoC), максимум восемью, хотя на данный момент не было представлено еще ни одной конструкции с более чем четырьмя HBM-этажерками. Таким образом, получить с использованием HBM ту же удельную емкость, что и в случае применения DDR ДОЗУ, пока не получается, и в ближайшее время такой возможности не предвидится. Поэтому у приложений, ориентированных на огромные объемы данных, нет иного выбора, кроме как придерживаться использования схем ДОЗУ, доступ к которым осуществляется через DDR-интерфейс.


Пропускная способность и потребляемая мощность

На передачу данных схемами памяти зачастую приходится большая часть потребляемой системой мощности. Однако этот вопрос не привлекает большого внимания, так как мощность расходуется вне кристалла ИС ЗУ. Соответственно, необходимость в столь же углубленном анализе и мерах по смягчению проблемы, как в других частях системы, отсутствует.

Судя по некоторым данным, быстродействие ДОЗУ с интерфейсами GDDR5X будет в два раза выше, чем у ДОЗУ с обычным GDDR5-интерфейсом (графическим DDR5) – ​этот показатель достигнет 16 Гбит/с и обеспечит пропускную способность до 72 Гбайт/с.

Развиваются и другие стандарты памяти. В начале 2020 г. JEDEC утвердил стандарт LPDDR5 (стандарт интерфейса DDR5 с низкой потребляемой мощностью), и в ближайшее время на рынке появятся соответствующие приборы, быстродействие памяти в которых будет существенно увеличено по сравнению с предшествующими стандартами. Так, стандарт LPDDR4 для мобильных приборов обеспечивает максимальную скорость 4267 Мбит/с, а у LPDDR5 она составит 6400 Мбит/с. Аналогично на рынке корпоративных серверов стандарт DDR4 предполагает скорость передачи данных до 3200 Мбит/с, в то время как у DDR5 она также достигает 6400 Мбит/с.

А как обстоят дела с HBM? На сегодня самые быстрые HBM-системы работают со скоростью 3200 Мбит/с, что соответствует стандартной скорости передачи данных по стандарту HBM2. Недавно корпорация SK Hynix публично объявила о поддержке стандарта HBM2E (E – ​embedded – ​для встраиваемых приборов) со скоростью передачи данных 3600 Мбит/с. Следующий стандарт HBM – ​HBM3, который должен появиться в 2022 г., – ​будет поддерживать скорость передачи данных до 6400 Мбит/с. Соответственно, у технологии HBM есть резервы для наращивания быстродействия.


Преимущества HBM

HBM обладают огромным преимуществом перед внешней памятью, в частности по времени доступа и потребляемой мощности. Так, по оценкам AMD, GDDR5-память может обеспечить удельную пропускную способность 10,66 Гбайт/с на один ватт, в то время как удельная пропускная способность HBM может превысить 35 Гбайт/с на ватт. Современные HBM-изделия емкостью 4/8 Гбайт обеспечивают пропускную способность 307 ГБайт/с, что уже значительно превышает ожидания от изделий типа GDDR5. Пропускная способность приборов HBM2 – 307 Гбайт/с по сравнению с 85,2 Гбайт/с у модуля из четырех DDR4 DIMM. Следующая версия, HBM3, обеспечит скорость передачи данных 4 Гбит/с при пропускной способности 512 Гбайт/с.

Для получения дальнейших преимуществ могут быть использованы различные варианты конфигурации. Так, для задач матричного умножения и других приложений, оперирующих большими объемами потоковых данных, HBM со 128-разрядными каналами будет более эффективной, чем GDDR с 32-разрядными.


Новые проблемы И ПЕРСПЕКТИВЫ

Статическая потребляемая мощность для ядра DRAM останется практически неизменной и будет увеличиваться с увеличением его емкости. Технология HBM более эффективна с точки зрения удельного энергопотребления (бит/Вт) и обеспечивает более высокую скорость передачи данных. При полномасштабном использовании памяти общая потребляемая мощность может значительно возрасти.

Основная проблема большинства конструкций вычислительных систем заключается в том, что наращивать объем вычислений можно, с одной стороны, за счет увеличения параллелизма обработки данных, а с другой – ​эти возможности ограничиваются пропускной способностью памяти. Технология HBM способна беспрецедентно повысить объем обмена данными между процессором и памятью. Встраиваемый вариант (HBM2E) обеспечивает пропускную способность 2,4 Тбит/с, а вскоре ожидается появление версии с большей пропускной способностью. При использовании технологии с применением интерпозера удельное энергопотребление (Вт/бит) остается низким, но общее энергопотребление (бит/с/Вт) при скорости передачи несколько терабит в секунду может существенно вырасти.

Это влечет за собой ряд новых проблем, одна из которых включает в себя влияние устройств ввода–вывода HBM, которые отличаются достаточно низкой потребляемой мощностью, однако при значительном параллелизме соответствующих операций энергопотребление существенно возрастает. Кроме того, даже при укороченном пути прохождения сигнала остается проблема помех из-за одновременного переключения большого количества устройств ввода–вывода.

Рост скорости передачи данных означает, что процессоры могут быть заняты большую часть времени. При этом надо учитывать гетерогенность вычислительной среды – ​т. е. одновременно будут осуществляться и матричное умножение, и обработка векторных данных, – ​поэтому в используемых чипсетах требуются различные типы процессоров. При сведении передачи данных к минимуму снижается потребляемая мощность, вот почему работы по совершенствованию архитектур так важны. Большинство микросхем ИИ в настоящее время реализуются на основе встраиваемых СОЗУ, а потому ограничены в размерах. Если бы достаточной пропускной способности удалось достичь за счет внешней памяти, например HBM, встраиваемые СОЗУ можно было бы уменьшить, заняв высвободившееся пространство обрабатывающими элементами.

Итак, необходимо найти новую точку равновесия между вычислительной мощностью и пропускной способностью памяти. Этот баланс уже становится проблемой проектирования на уровне системы. Проведение необходимого анализа – ​сложная задача, и здесь на первый план выходят проблемы моделирования. В отличие от GDDR с 32- или 63-разрядными каналами, устройства HBM имеют 128-разрядный канал. Соответственно, необходимо смоделировать все пути прохождения сигнала и все каналы энергообеспечения, проходящие от каждого кристалла посредством TSV сквозь интерпозер к базовому логическому кристаллу. Главной задачей моделирования будет обеспечение целостности сигнала.

В целом отраслевые эксперты предрекают технологии HBM перспективное светлое будущее. С улучшением производительности и емкости HBM станет стимулом для создания современных ускорителей машинного обучения и аналитики, позволит значительно увеличить общую вычислительную производительность. В центре внимания разработчиков по-прежнему будут находиться вопросы управления режимом энергопотребления и теплоотвода, а также поиска надежного решения для случаев использования с высокой степенью целостности данных (RAS: reliability, availability, serviceability – ​надежность, доступность, удобство обслуживания).

Технология HBM обеспечивает значительно большую пропускную способность, чем у любых предыдущих систем памяти, при уровне удельного энергопотребления (Вт/бит) на порядок лучше, чем у внешних систем DDR-памяти. Каким образом будет использована эта новая возможность – ​вопрос пока открытый. Применение HBM также позволит значительно увеличить общую вычислительную производительность, но это будет достигнуто за счет общей потребляемой мощности как в подсистеме памяти, так и в вычислительной подсистеме. Обеспечение этих систем достаточным электропитанием при поддержании приемлемого теплового баланса, гарантирующее безопасную рабочую среду для памяти на основе ДОЗУ, может стать сложной задачей.


Bailey Brian. HBM Issues in AI Systems. Semiconductor Engineering, March 16, 2020: https://semiengineering.com/hbm-issues-in-ai-systems/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.
Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.