По мере того как оказание услуг в реальном масштабе времени становится частью повседневной жизни, вычислительная инфраструктура претерпевает серьезные изменения. Появилась и развивается обширная экосистема – ​от интеллектуальных личных помощников, мгновенно предоставляющих информацию на естественном языке, до предприятий розничной торговли, генерирующих информацию о динамике покупательских предпочтений с помощью аналитики в магазинах. Подобные услуги, предоставляемые в реальном масштабе времени, открывают огромные рыночные возможности.

В целях извлечения выгод из подобных услуг данные и аналитические данные должны быть мгновенно доступны. Они в значительной степени будут управляться сервисами с поддержкой искусственного интеллекта (ИИ) – ​облачные гиганты, такие как Amazon Web Services (AWS), Microsoft, Alibaba и SK Telecom, разрабатывают для них вычислительную инфраструктуру.

Операторы центров обработки данных (ЦОД) теперь должны оптимизировать вычисления для достижения требуемой скорости реагирования в реальном масштабе времени. Следовательно, ИТ-архитектуры также должны учитывать изменяющиеся и быстро развивающиеся рабочие нагрузки и алгоритмы, в значительной степени управляемые ИИ, наряду с возрастающей интеграцией вычислений в системы хранения и сети.

Со своей стороны, поставщики услуг нуждаются в инфраструктурной платформе, отличающейся дифференциацией и высокой производительностью для обеспечения пропускной способности и низкого времени задержки, с гибким программно-аппаратным комплексом, способным обрабатывать алгоритмы, – ​от рекуррентных нейронных сетей и сетей долгосрочной и кратковременной памяти, до сверточных нейронных сетей и ускорения запросов на основе кластерной вычислительной среды Apache Spark (см. рисунок).

Источник: Databricks

Экосистема Apache Spark

* SQL (structured query language) – язык структурированных запросов, непроцедурный специализированный язык программирования 4-го поколения (4GL), используемый для работы с данными в реляционных СУБД. Разработан корпорацией IBM. Стандартизован ANSI в 1986 г. Развитие языка – SQL2 и SQL3. Последняя версия стандарта – SQL:2003.

Чтобы достичь такого уровня дифференциации, поставщики услуг создают собственные аппаратные и программные комплексы. Например, AWS Advanced Query Accelerator – ​платформа для анализа данных с индивидуальным программным обеспечением и программируемым аппаратным стеком. SK Telecom недавно разработала средство аналитики речи и видео с поддержкой ИИ на основе специального программного и программируемого аппаратного комплекса.

Следующая волна вычислений должна быть адаптивной – ​ПО и аппаратное обеспечение объединяются и программируются для достижения необходимой производительности в реальном масштабе времени, максимальной пропускной способности, низкой задержки и эффективности энергопотребления. По мере роста количества решений и достижений в области вычислений в реальном масштабе времени с применением ИИ, усложнения рабочих нагрузок и роста объемов неструктурированных данных в ЦОДах, происходит сдвиг в сторону адаптивного ускорения вычислений, хранилищ, разработки, создания и эксплуатации сетей.

Прогнозирование в реальном масштабе времени

В стремлении ответить на самые сложные в мире научные вопросы исследователи из разных университетов используют высокопроизводительные вычисления (HPC). Для ускорения анализа и развертывания высокопроизводительных вычислений требуются большие вычислительные возможности, высокая энергоэффективность и адаптивность. Консорциум из примерно 20 тыс. ученых Европейской лаборатории физики частиц (ЦЕРН) пытается смоделировать происхождение вселенной. Для этого исследователи должны раздвинуть границы технологий.

Большой адронный коллайдер – ​крупнейший ускоритель частиц в мире. Его 27-километровое кольцо состоит из сверхпроводящих магнитов, которые ускоряют частицы до беспрецедентных уровней энергии. Каждый протон проходит по кольцу 11 тыс. раз в секунду, приближаясь к скорости света. В четырех разных точках кольца протоны сталкиваются каждые 25 нс. Условия столкновения фиксируются детекторами частиц. Эта инициирующая система реализована в двух уровнях – ​первый уровень требует фиксированной возможности формирования логического вывода ИИ с очень малой задержкой на событие (около трех микросекунд). Для этого также требуется огромная пропускная способность.

Центральные процессоры (ЦП) и графические процессоры не могут удовлетворить эти требования. Таким образом, в 100 метрах под землей создана экранированная от зоны излучения сеть ПЛИС, работающих по алгоритмам, разработанным для мгновенной фильтрации полученных данных и идентификации новых субструктур частиц как свидетельства существования темной материи и других физических явлений. Эти ПЛИС используют как классические, так и сверточные нейронные сети для получения и выравнивания данных датчиков, выполнения отслеживания и кластеризации, запуска процесса идентификации объектов машинного обучения и запуска, – ​все это перед форматированием и доставкой данных событий. Результатом становится формирование логических выводов с чрезвычайно низкой задержкой – ​порядка 100 нс.

Хранение данных для анализа в реальном масштабе времени

Освоение технологии высокоскоростных хранилищ и повышенные требования к производительности для приложений, интенсивно использующих данные, создали узкие места в ЦП, памяти и самих хранилищах. Следовательно, акцент смещается с вычислительной мощности на обработку данных в вычислительных хранилищах¹³. Это имеет большое значение для повышения производительности приложений и общей эффективности инфраструктуры.

Жизнеспособное решение состоит в том, чтобы приблизить вычисления к данным. Интеграция аналитики данных с хранилищем значительно сокращает узкие места на уровне системы, повышает параллелизм и снижает общие требования к питанию. Подход привлек таких поставщиков, как IBM и Micron Technology, которые разработали ускоренные системы хранения и вычисления, где обработка происходит в непосредственной близости от данных. Для обеспечения высокопроизводительных ускоренных вычислений поблизости от флэш-памяти корпорация Samsung Electronics выпустила новый твердотельный накопитель – ​SmartSSD, позволяющий преодолеть ряд ограничений ЦП и памяти, повысить быстродействие и эффективность, а также снизить эксплуатационные расходы, предоставляя интеллектуальные возможности для хранения данных.

Комплексная сеть

С появлением виртуализированных вычислений и контейнерных рабочих нагрузок работа в сети стала намного более сложной. Поскольку эти среды расширяются за пределы одного сервера, они должны использовать сложные оверлейные сети. Оверлейные сети – ​это виртуализированные системы, которые динамически создаются и поддерживаются с использованием концепции инкапсуляции пакетов. Наблюдение за этой инкапсуляцией увеличивает нагрузку на ОС или ядро виртуализации. В сочетании с традиционными сетевыми задачами эти подходы потребляют почти 30% исходных циклов ЦП сервера.

Распространенное средство управления оверлейными сетями – ​протокол Open vSwitch (OvS). Сетевые интерфейсные карты на основе ПЛИС (SmartNIC) обладают вычислительной мощностью, позволяющей разгрузить ЦП от вышеуказанных 30% нагрузок. Проще говоря, три сервера с SmartNIC, поддерживающими OvS, обладают вычислительной мощностью четырех серверов, работающих на стандартных сетевых картах.

SmartNIC на основе ПЛИС также могут быть использованы для разгрузки задач безопасности и шифрования, обычно выполняемых на ЦП сервера. Безопасность реализуется в форме глубокой проверки блоков данных (пакетов), в итоге пакеты отбрасываются, если они представляют угрозу. Такой подход может дополнить или даже заменить традиционное ПО брандмауэра, работающее серверах. Кроме того, SmartNIC могут легко выполнять различные задачи шифрования и дешифрования.

Scraba Adam. Entering the Era of Real-Time AI. EE Times magazine, May 22, 2020: https://www.eetimes.com/entering-the-era-of-real-time-ai/