Untether AI переосмысливает архитектуру фон Неймана для ускорителей формирования вывода ИИ

Untether AI переосмысливает архитектуру фон Неймана для ускорителей формирования вывода ИИ

Выпуск 22 (6721) от 12 ноября 2020 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

Поставщик микросхем искусственного интеллекта Untether AI создал карты ускорителя tsunAImi на собственных микросхемах runAI200. По заявлению компании, это первые блоки, осуществляющие вычисления в памяти и обеспечивающие эффективность до 8 тераопераций в секунду на ватт (ТОПС/Вт), что более чем вдвое превышает скорость вычислений любой другой платы компьютерной шины PCI Express (PCIe).

Вместо традиционной архитектуры фон Неймана, ориентированной на перемещение данных, устройства run200AI, используемые в картах ускорителя tsunAImi (см. рисунок), предназначены для вычислений в памяти. Элемент обработки расположен внутри памяти для создания массива распределенной обработки.



Источник: Untether AI

Карта ускорителя ИИ tsunAImi


Устройства runAI200 используют целочисленные типы данных и пакетный режим. Банк памяти обладает 385-Кбайт СОЗУ с двумерным массивом из 512 обрабатывающих элементов. На каждую микросхему приходится 511 блоков, что в сумме дает 200 МБайт на устройство. В «спортивном» режиме быстродействие составляет до 502 ТОПС. В режиме «эко» – ​8 ТОПС.

По заявлению представителей компании, вычислительная мощность карты ускорителя ИИ обеспечивает пропускную способность ResNet‑50 v1.5 более 80 тыс. кадров в секунду при партии = 1, что в три раза превышает пропускную способность ближайшего конкурента. В другом тесте производительности, связанном с обработкой естественного языка, карты-ускорители могут обрабатывать более 12 тыс. запросов в секунду из BERT-базы. Утверждается, что это в четыре раза быстрее, чем у любого другого представленного на рынке продукта аналогичного назначения.

ИИ для формирования логических выводов станет важным элементом в центрах обработки данных, где его плотность вычислений позволит повысить производительность для умных городов и других приложений ИИ и машинного обучения.

Устройства runAI200 производятся с использованием экономичного 16-нм технологического процесса. Карта ускорителя tsunAImi представляет собой карту PCI Express стандартного форм-фактора для использования в «облаке» или на серверах. Она поддерживает открытое программное обеспечение TensorFlow и PyTorch для машинного обучения.

В дополнение к карте ускорителя в комплект разработчика программного обеспечения Untether AI imAIgine (SDK) включены квантование, оптимизация, физическое распределение и многочиповое разделение с помощью кнопок. Он также предоставляет набор инструментов визуализации, симулятор с точным циклом и API среды выполнения для интеграции.

Карта ускорителя tsunAImi сейчас находится в стадии тестирования и будет коммерчески доступна в I кв. 2021 г. SDK imAIgine находится в раннем доступе для избранных клиентов и партнеров.


Hayes Caroline. Untether AI Rethinks Von Neumann Architecture for AI Inference Accelerator Cards. Electronics Weekly, October 30, 2020: https://www.electronicsweekly.com/news/products/bus-systems-sbcs/untether-ai-rethinks-von-neumann-ar...2020–10/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 22(6746) от 11 ноября 2021 г. г.
Выпуск 21(6745) от 28 октября 2021 г. г.