Состояние и перспективы развития высокопроизводительных вычислений

Состояние и перспективы развития высокопроизводительных вычислений

Выпуск 1 (6700) от 16 января 2020 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

По мере снижения затрат и увеличения количества вариантов использования высокопроизводительные вычисления (high performance computing, HPC) привлекают новых пользователей. Расширенные возможности применения технологии включают системы HPC на основе суперкомпьютеров, кластерные HPC и облачные службы HPC.

По данным исследовательской корпорации Markets & Markets мировой рынок HPC увеличится с 32,11 млрд долл. в 2017 г. до 44,98 млрд в 2022-м. Среднегодовые темпы прироста в сложных процентах (CAGR) за данный период составят 7,0%. Решения HPC могут легко обрабатывать большие объемы данных и широко поддерживать высокопроизводительный анализ данных, кроме того, обеспечить более быструю обработку данных с высокой точностью. Однако проблемы, связанные с безопасностью данных, могут повлиять на скорость внедрения этих решений.

На данный момент почти половина мировых доходов от HPC приходится на Северную Америку. В перспективе до 2022 г. ее доля будет снижаться, доля Европы оставаться на прежнем уровне, а доля стран Азиатско-Тихоокеанского региона – ​расти (см. рисунок) [1].

В современном мире, управляемом данными, высокопроизводительные вычисления становятся стартовой платформой для предприятий, стремящихся получить глубокие знания в таких разнообразных областях, как геномика, вычислительная химия, моделирование финансовых рисков и сейсморазведочные построения. Изначально HPC привлекали ученых-исследователей, которым необходимо было выполнять сложные математические вычисления, а теперь оказались в центре внимания более широкого круга предприятий из множества отраслей.

Безусловно, не каждой компании требуются высокопроизводительные вычисления. Однако если фирма занимается сбором, анализом и распространением данных, а также зависит от надежных систем для поддержки оптимизированного рабочего процесса с огромной вычислительной мощностью, то ей без HPC не обойтись. Хотя внедрение этой технологии малыми и средними предприятиями – ​довольно редкое явление, она обладает огромным потенциалом для организаций, которые готовы инвестировать в технологические активы и опыт сотрудников.

Как правило, варианты использования HPC ориентированы на определенный тип моделирования. Это может быть моделирование воздушного потока вокруг крыла, сгорания топлива в двигателе, планетарных погодных систем, ядерной реакции или оценка инвестиционного портфеля. Другой вариант – ​аналитические задачи, такие как определение рентабельности инвестиций в рекламу или оценка эффективности подразделений (корпорации). Варианты использования могут классифицироваться как трансляционные или трансформационные.


Высокопроизводительные вычисления без суперкомпьютера

Многие бизнесмены и руководители ИТ-подразделений ошибочно полагают, что все системы HPC основаны на суперкомпьютерах. Действительно, суперкомпьютеры, производимые такими компаниями, как Atos, IBM, HPE/Cray и Fujitsu, составляют основу многочисленных специализированных систем HPC, однако более широко используемый подход заключается в интеграции нескольких небольших компьютеров в единый кластер для обеспечения возможностей HPC. При таком расположении каждый компьютер в кластере служит соединительным узлом. Каждый узел обычно оснащен несколькими процессорами – ​вычислительными ядрами, которые выполняют вычислительные задачи. Процессоры, графические процессоры (GPU) и ресурсы памяти в узлах связаны между собой, создавая систему HPC.

Поскольку стоимость приобретения и эксплуатации суперкомпьютера, а также заказного ПО9 для него может легко достигать нескольких миллионов долларов, в финансовом плане эта технология недосягаема для большинства предприятий. В свою очередь, кластерные HPC, использующие относительно недорогие взаимосвязанные компьютеры с готовым (приобретаемым на рынке) ПО, как правило, более доступны для внедрения и эксплуатации. Тем не менее приобретение даже небольшого кластера HPC может означать для компании необходимость значительных инвестиций – ​не всегда оправданных, особенно в случае, если потребности фирмы в высокопроизводительных вычислениях ограничены.

Эта ситуация сейчас меняется. Предприятия, желающие получить доступ к HPC без ущерба для своих ИТ-бюджетов, теперь имеют возможность обратиться к общедоступным облачным сервисам, таким как Google Cloud, Microsoft Azure, Amazon Web Services и IBM Cloud. Эксперты считают, что подобные сервисы позволяют предприятиям пользоваться возможностями HPC для удовлетворения своих бизнес-потребностей без значительных инвестиций в аппаратную инфраструктуру кластера HPC. Появление облачных сервисов в некоторой степени выровняло игровое поле между малыми и крупными компаниями.

К примеру, Университет Северной Каролины в Чапел-Хилле (США) уже давно полагается на свой локальный кластер высокопроизводительных вычислений для поддержки исследовательской деятельности во многих областях науки, техники и медицины. Тем не менее, по мере того как потребности в компьютерных исследованиях продолжают расти, пользовательский спрос начинает опережать существующие вычислительные ресурсы и емкость системы. Вместо того чтобы расширять инвестиции в высокопроизводительные вычисления, университет решил обратиться к облачным хранилищам. Подход оказался экономически эффективным и очень гибким. «Облако» позволяет задействовать вычислительные ресурсы, необходимые для решения определенной задачи, и выполнять эти вычисления ровно столько времени, сколько требуется.

На другой стороне Атлантики Йоркский университет (Великобритания) также решил использовать облачный подход к HPC. Технология широко используется преподавателями и студентами факультетов биологии, физики, химии и информатики, а также лингвистами и представителями ряда других дисциплин. В настоящее время для анализа данных последовательностей ДНК специалисты университета используют Google Cloud.

К облачным системам HPC предъявляются различные требования – ​одним нужно большее количество процессоров, другим – ​больший объем памяти, при этом актуальным остается и сверхбыстрый доступ к диску. Некоторые исследователи начинают заниматься методами машинного обучения и хотят задействовать разные архитектуры. Однозначным остается одно: широкий круг пользователей, работающих с данной технологией, порождает потребность в расширении вариантов пакетов услуг.


Высокопроизводительные вычисления с применением суперкомпьютера

Хотя облачные сервисы HPC предлагают определенные преимущества, это не всегда лучший или наиболее логичный выбор для предприятий, заинтересованных в безопасности и конфиденциальности. Существует ряд опасений относительно того, где хранятся данные. Например, речь может идти об ограничениях, накладываемых европейским регламентом GDPR.

Университет Майами (США) недавно захотел решить вопрос как с конфиденциальностью, так и с необходимостью больших вычислительных мощностей, чтобы инвестировать средства в новую локальную систему HPC на базе суперкомпьютера. Самое главное, по мнению университета, то, что исследовательские проекты с массивными многомерными наборами данных могут выполняться намного быстрее при помощи специально разработанных высокопроизводительных суперкомпьютеров.

В августе прошлого года университет представил свой новый суперкомпьютер IBM Triton, основанный на серверах Power Systems AC922. Более двух тысяч студентов и преподавателей уже используют систему для работы над такими проектами, как прогнозирование климата, геномика, биоинформатика, компьютерное зрение и работа с ИИ.

Хотя внедрение системы и было успешным, специалисты столкнулись с некоторыми препятствиями, которых может ожидать практически любой пользователь HPC, независимо от объема его задач, области применения или вычислительных потребностей. Возникают вопросы обучения пользователей и их переподготовки. Кроме того, интеграция новой системы с унаследованными системами хранения всегда выводит на первый план старые недоработки, которые необходимо устранять и подстраивать под собственные нужды [2].

Говоря о HPC с использованием суперкомпьютеров в целом, необходимо рассмотреть рейтинг 10 наиболее производительных машин мира. В нем пять систем приходится на США, по две на КНР и Европу и одна – ​на Японию (см. таблицу).

Надо отметить, что в соревновании по производительности в последние годы участвуют только американские и китайские суперкомпьютеры, при этом машинам КНР удавалось несколько раз выйти на первое место [3].


УПРАВЛЕНИЕ рабочими нагрузками HPC

Нельзя недооценивать важность выбора правильных инструментов управления ресурсами, которые позволяют организации получать доступ и оптимизировать сегменты использования высокопроизводительных вычислений. Специалисты считают, что независимо от того, покупается ли традиционная аппаратная среда HPC, используется ли HPC в «облаке» или применяется комбинированный подход, выбор диспетчера рабочей нагрузки HPC для обслуживаемых типов задач и требований к пропускной способности имеет первостепенное значение. Диспетчер рабочей нагрузки способен автоматизировать планирование заданий, а также функции управления, мониторинга и отчетности [2].


Таблица

Рейтинг 10 наиболее производительных суперкомпьютеров по состоянию на ноябрь 2019 г.

Место

Название, расположение, эксплуатирующая организация

Характеристики

1

Summit, г. Окридж, шт. Теннесси, США, Окриджская национальная научно-исследовательская лаборатория

Производительность 148,6 PFLOPS* (теоретическая производительность 187,66 PFLOPS), энергоэффективность 11,324 GFLOPS**. Архитектура: 2282544 ядра процессора Power (IBM) и 1382400 ядер ускорителей Volta GV100 (Nvidia)

2

Sierra, г. Ливермор, шт. Калифорния, США, Ливерморская национальная научно-исследовательская лаборатория им. Лоуренса

Создан корпорацией IBM. Производительность 94,6 PFLOPS. Архитектура: 1572840 ядер процессоров Power9 (IBM) и 1382400 ядер ускорителей Volta GV100 (Nvidia).

3

Sanway TaihuLight, г. Уси, КНР, Национальный суперкомпьютерный центр

Создан Национальным центром по проектированию высокопроизводительных интегральных микросхем (国坅‘僛“瓗R戃电笭设计齌裶, г. Шанхай) Производительность 93,0 PFLOPS, энергоэффективность 6,051 GFLOPS. Архитектура: 40,96 тыс. процессоров Sanway 26010 (на 64-разрядной китайской RISC-микроархитектуре ShenWei). В каждом процессоре по 260 ядер

4

Tianhe‑2A (Milky Way 2A), г. Гуанчжоу, КНР, Национальный суперкомпьютерный центр

Создан Национальным институтом оборонных технологий (国衖唑术研牳廑). Производительность 61,4 PFLOPS, энергоэффективность 3,325 GFLOPS. Архитектура: 5 млн ядер процессоров Xeon E5–2692v2 (Intel) и Matrix‑2000 (Intel)

5

Frontera, г. Остин, шт. Техас, США, Центр современных вычислений Техасского университета в Остине

Система Dell C642 (Dell). Производительность 23,5 PFLOPS. Архитектура: процессоры Xeon Platinum 8280 (Intel)

6

Piz Daint, г. Лугано, Швейцария, Швейцарский национальный суперкомпьютерный центр

Система CrayXC50 (Cray). Производительность 21,1 PFLOPS. Архитектура: центральные процессоры Xeon (Intel) и графичекие процессоры Tesla P100 (Nidia). Самая мощная система в Европе

7

Trinity, г. Лос-Аламос, шт. Нью-Мексико, США, Лос-Аламосская национальная научно-исследовательская лаборатория

Производительность 20,2 PFLOPS, энергоэффективность 3,678 GFLOPS. Архитектура: процессоры Xeon и Xeon Phi (Intel)

8

AI Bridging Cloud Infrastructure (AICI), г. Токио, Япония, Национальный институт передовой промышленной науки и технологии

Создан корпорацией Fujitsu на основе серверов Primenergy CX 2550 с процессорами Xeon Gold (Intel) и графическими процессорами Tesla V100 (Nvidia). Производительность 19,9 PFLOPS, энергоэффективность 10,5 GFLOPS

9

SuperMUC-NG, г. Мюнхен, ФРГ, Суперкомпьютерный центр им. Лейбница

Создан корпорацией Lenovo (КНР). Производительность 19,5 PFLOPS. Архитектура: процессоры Platinum Xeon (Intel) и межсоединения Omni-Path (Intel). Самый мощный суперкомпьютер на процессорах x86

10

Lassen, г. Ливермор, шт. Калифорния, США, Ливерморская национальная научно-исследовательская лаборатория им. Лоуренса

Неклассифицированная сестринская версия машины Sierra. Производительность менее 18,2 PFLOPS, но более 15,4 PFLOPS. Архитектура: процессоры Power9 (IBM) и графические процессоры V100 (Nvidia)


* PFLOPS (petaflops) – ​петафлопс, возможность вычислительной машины или сети проводить 1 квадриллион (1×10
24) вычислений с плавающей точкой в секунду (FLOPS).

** GPFLOPS (gigaflops) – ​гигафлопс, возможность вычислительной машины или сети проводить 1 миллиард (1×109) вычислений с плавающей точкой в секунду.


1. High Performance Computing Market. MarketsandMarkets, Published Date: Aug 2019, Report Code: TC2204: https://www.marketsandmarkets.com/Market-Reports/Quantum-High-Performance-Computing-Market‑631.html 

2. Edwards John. High Performance Computing: Do You Need It? Network World, October 4, 2019: https://www.networkworld.com/article/3444399/high-performance-computing-do-you-need-it.html 

3. Greene Tim. 10 of the World’s Fastest Supercomputers. IDG News Service, November 18, 2019: https://www.networkworld.com/article/3236875/embargo‑10-of-the-worlds-fastest-supercomputers.html


ЧИТАЙТЕ ТАКЖЕ

Выпуск 22(6746) от 11 ноября 2021 г. г.
Выпуск 21(6745) от 28 октября 2021 г. г.