ВЫБОР РЕДАКЦИИ

Перспективы развития микроконтроллеров с краевым искусственным интеллектом

Проблемы разработки программно-управляемого аппаратного обеспечения

Искусственный интеллект – перспективы развития

Наступление эры искусственного интеллекта реального масштаба времени

Искусственный интеллект и увеличение интереса к краевым вычислениям

Бесшовная связь – становой хребет Четвертой промышленной революции

Использование биометрии в Сухопутных войсках США

Вопросы развития краевых вычислений

Машинное обучение открывает новые возможности FPGA

Материалы Симпозиума SEMI по промышленной политике

Современное состояние и перспективы развития рынка САПР

Teraki совершает «квантовый скачок» в сфере больших данных

Бум стартапов во Франции

Материалы Симпозиума SEMI по промышленной политике

Вопросы развития краевых вычислений

Экономические аспекты развития технологий искусственного интеллекта

О перспективах рынка потребительской электроники

Средства искусственного интеллекта учатся распознавать звуки

Превосходство КНР в области искусственного интеллекта: правда или миф?

Некоторые проблемы развития памяти с высокой пропускной способностью

Глубокое обучение и предельные краевые вычисления

Модуль Seal для моделей рекомендаций

Модуль Seal для моделей рекомендаций

Выпуск 20 (6719) от 15 октября 2020 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

Центры обработки данных, специализирующиеся на гиперразмерных вычислениях, нуждаются в средствах и моделях искусственного интеллекта, способных оптимизировать их работу. Как правило, речь идет об ускорении типовых моделей ИИ, обычно используемых в механизмах рекомендаций, с помощью аппаратно-программных решений. Одно из таких решений, ускоряющее определенные операции с привязкой к памяти, представил стартап Myrtle.ai (Великобритания). Утверждается, что это поможет ЦОДам сэкономить миллионы долларов в год.

Модели рекомендаций искусственного интеллекта, как известно, приводят в действие значительную часть современного Интернета. Они обслуживают рекламу, выбирают персонализированный контент для новостных лент социальных сетей. Эти модели, вычислительная обработка которых происходит в «облаке», представляют собой значительную часть рабочих нагрузок в современных ЦОД, специализирующихся на гиперразмерных вычислениях.

Костяк стартапа Myrtle составила группа специалистов, специализировавшихся на проведении сопоставительных испытаний средств ИИ. Эти люди поняли, какой доход могут приносить модели рекомендаций ЦОДам гиперразмерных вычислений, и приступили к разработке ускорителя, способного обеспечить значительный прирост пропускной способности, ограниченной временем ожидания в существующей инфраструктуре.

Отмечается, что структуры памяти и вычислений в моделях рекомендаций необычны. Они обладают специфическими узкими местами, из-за которых страдают возможности ЦОД гиперразмерных вычислений. Специалисты, создавшие фирму Myrtle, обладали опытом создания разреженных массивов путем обу-чения. Им удалось преобразовать этот опыт в эффективное аппаратное обеспечение и научиться эксплуатировать его.


Плотность и разреженность

Большинство моделей ИИ имеют плотные и разреженные области, но особенно этот эффект выражен в моделях рекомендаций. Разреженные области – ​это части нейронной сети, где большая часть весовых коэффициентов равна нулю. Однако для вычислений в этих ветвях нейронных сетей требуются такие же время и энергия, что и в плотных областях, хотя результат часто равен нулю. Если конкретная сеть разрежена, можно повысить эффективность вычислений, пропустив части, всегда стремящиеся к нулю. В рамках предшествующих работ специалисты Myrtle за счет особого обучения сетей добивались возникновения требующихся разреженностей, причем так, чтобы обрезка или сжатие моделей облегчались, а сами модели становились меньше и эффективнее.

Специалисты Myrtle разработали модули Seal таким образом, чтобы они вписывались в доступные слоты в рамках существующей инфраструктуры. Основная цель этих модулей – ​позволить уже применяемым ускорителям с высокой плотностью размещения вычислительных ресурсов реализовывать в первую очередь те нагрузки, для которых они подходят больше всего, и освобождать их от других, менее подходящих для этих ускорителей нагрузок. То есть модули Myrtle позволяют специалистам ЦОД гиперразмерных вычислений разгружать операции, которые обычно являются для них «головной болью», – ​связанные с памятью и формулированием логических выводов.

С точки зрения аппаратного обеспечения модуль Seal представляет собой блок, реализованный в форм-факторе Open Compute Project M.2, предназначенный для установки в несущие платы Glacier Point. Каждый модуль оснащен памятью DDR4 емкостью либо 16, либо 32 Гбайт, а также вентильной матрицей, программируемой пользователем (FPGA), запускающей код ускорителя Myrtle. Хотя модуль Seal был разработан для совместной работы с центральным процессором Xeon корпорации Intel, он может работать совместно с ускорителями на основе графических процессоров или специализированных ИС (ASIC) (см. рисунок).



Источник: Myrtle

Типовое размещение модулей Seal по отношению к центральному процессору и ускорителям вычислений, таким как графические процессоры и специализированные ИС (ASIC)


Программная часть Seal разгружает операции формирования вывода, связанные с памятью, за счет предоставления таких версий этих операций, которые могут быть выгружены на аппаратную часть модуля Seal. Клиенты, использующие собственные программно-реализованные стеки, могут использовать альтернативные версии Seal операций, связанных с памятью, в PyTorch.

Модели не требуется переучивать или каким-либо образом менять. Это принципиально важно для клиентов, чей доход напрямую зависит от рекламы, обслуживаемой очень сложными, тонко настроенными проприетарными (фирменными) моделями рекомендаций (такие модели уже широко развернуты).


Секрет Myrtle

Основной секрет стартапа Myrtle заключается в запатентованном СФ-блоке разреженности, который ускоряет операции, связанные с умножением разреженного вектора на плотную матрицу. Подход может быть использован для ускорения любого приложения, имеющего фундаментальную структуру разреженного вектора, умноженного на плотную матрицу. Но при этом надо учитывать тот факт, что СФ-блок Myrtle ориентирован на системы рекомендаций, так как именно здесь находится проблемная точка запуска подобных моделей.

Тесты, проведенные на моделях рекомендаций (имеются в виду те же самые модели, что составляют эталонный тест модели рекомендаций MLPerf), показывают, что аппаратное обеспечение Seal способно в восемь раз сократить время ожидания. В частности, 16-Гбайт стек Seal может предложить пропускную способность векторной обработки около 18 Гбайт/с, а 32-Гбайт стек – ​16 Гбайт/с.


Проблемы

Сложной задачей для разработчиков Myrtle стало преодоление узкого места, связанного с памятью, при помощи практичного решения – ​из-за тепловых и размерных ограничений, связанных с форм-фактором M.2.

Еще один вызов для Myrtle – ​привлечение внимания к своим разработкам специалистов ЦОД гиперразмерных вычислений таких крупных корпораций, как Amazon, Google и т. д., охват не только американских, но и китайских заказчиков. Специалисты Myrtle рассчитывают, что в этом им поможет хорошая репутация, заработанная в сообществе MLPerf.

Клиенты Myrtle приступили к оценке Seal с III кв. 2020 г. Сами же разработчики Myrtle сейчас работают над расширением вариантов своей продукции за счет таких форм-факторов, как E1.S и двухслотовый M.2.

Компания рассчитывает на успех – ​ее разработка может использоваться операторами ЦОД гиперразмерных вычислений в рамках уже имеющейся инфраструктуры. Модули Seal позволяют замедлить существенное увеличение площади серверов, необходимых для формирования выводов моделей рекомендаций.


Ward-Foxton Sally. British SME Breaks Memory Bottleneck to Accelerate AI Recommendation Models. EE Times, September 14, 2020: https://www.eetimes.com/british-sme-breaks-memory-bottleneck-to-accelerate-ai-recommendation-models/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 22(6746) от 11 ноября 2021 г. г.
Выпуск 21(6745) от 28 октября 2021 г. г.