По мере снижения затрат и увеличения количества вариантов использования высокопроизводительные вычисления (high performance computing, HPC) привлекают новых пользователей. Расширенные возможности применения технологии включают системы HPC на основе суперкомпьютеров, кластерные HPC и облачные службы HPC.

По данным исследовательской корпорации Markets & Markets мировой рынок HPC увеличится с 32,11 млрд долл. в 2017 г. до 44,98 млрд в 2022-м. Среднегодовые темпы прироста в сложных процентах (CAGR) за данный период составят 7,0%. Решения HPC могут легко обрабатывать большие объемы данных и широко поддерживать высокопроизводительный анализ данных, кроме того, обеспечить более быструю обработку данных с высокой точностью. Однако проблемы, связанные с безопасностью данных, могут повлиять на скорость внедрения этих решений.

На данный момент почти половина мировых доходов от HPC приходится на Северную Америку. В перспективе до 2022 г. ее доля будет снижаться, доля Европы оставаться на прежнем уровне, а доля стран Азиатско-Тихоокеанского региона – ​расти (см. рисунок) [1].

В современном мире, управляемом данными, высокопроизводительные вычисления становятся стартовой платформой для предприятий, стремящихся получить глубокие знания в таких разнообразных областях, как геномика, вычислительная химия, моделирование финансовых рисков и сейсморазведочные построения. Изначально HPC привлекали ученых-исследователей, которым необходимо было выполнять сложные математические вычисления, а теперь оказались в центре внимания более широкого круга предприятий из множества отраслей.

Безусловно, не каждой компании требуются высокопроизводительные вычисления. Однако если фирма занимается сбором, анализом и распространением данных, а также зависит от надежных систем для поддержки оптимизированного рабочего процесса с огромной вычислительной мощностью, то ей без HPC не обойтись. Хотя внедрение этой технологии малыми и средними предприятиями – ​довольно редкое явление, она обладает огромным потенциалом для организаций, которые готовы инвестировать в технологические активы и опыт сотрудников.

Как правило, варианты использования HPC ориентированы на определенный тип моделирования. Это может быть моделирование воздушного потока вокруг крыла, сгорания топлива в двигателе, планетарных погодных систем, ядерной реакции или оценка инвестиционного портфеля. Другой вариант – ​аналитические задачи, такие как определение рентабельности инвестиций в рекламу или оценка эффективности подразделений (корпорации). Варианты использования могут классифицироваться как трансляционные или трансформационные.

Высокопроизводительные вычисления без суперкомпьютера

Многие бизнесмены и руководители ИТ-подразделений ошибочно полагают, что все системы HPC основаны на суперкомпьютерах. Действительно, суперкомпьютеры, производимые такими компаниями, как Atos, IBM, HPE/Cray и Fujitsu, составляют основу многочисленных специализированных систем HPC, однако более широко используемый подход заключается в интеграции нескольких небольших компьютеров в единый кластер для обеспечения возможностей HPC. При таком расположении каждый компьютер в кластере служит соединительным узлом. Каждый узел обычно оснащен несколькими процессорами – ​вычислительными ядрами, которые выполняют вычислительные задачи. Процессоры, графические процессоры (GPU) и ресурсы памяти в узлах связаны между собой, создавая систему HPC.

Поскольку стоимость приобретения и эксплуатации суперкомпьютера, а также заказного ПО⁹ для него может легко достигать нескольких миллионов долларов, в финансовом плане эта технология недосягаема для большинства предприятий. В свою очередь, кластерные HPC, использующие относительно недорогие взаимосвязанные компьютеры с готовым (приобретаемым на рынке) ПО, как правило, более доступны для внедрения и эксплуатации. Тем не менее приобретение даже небольшого кластера HPC может означать для компании необходимость значительных инвестиций – ​не всегда оправданных, особенно в случае, если потребности фирмы в высокопроизводительных вычислениях ограничены.

Эта ситуация сейчас меняется. Предприятия, желающие получить доступ к HPC без ущерба для своих ИТ-бюджетов, теперь имеют возможность обратиться к общедоступным облачным сервисам, таким как Google Cloud, Microsoft Azure, Amazon Web Services и IBM Cloud. Эксперты считают, что подобные сервисы позволяют предприятиям пользоваться возможностями HPC для удовлетворения своих бизнес-потребностей без значительных инвестиций в аппаратную инфраструктуру кластера HPC. Появление облачных сервисов в некоторой степени выровняло игровое поле между малыми и крупными компаниями.

К примеру, Университет Северной Каролины в Чапел-Хилле (США) уже давно полагается на свой локальный кластер высокопроизводительных вычислений для поддержки исследовательской деятельности во многих областях науки, техники и медицины. Тем не менее, по мере того как потребности в компьютерных исследованиях продолжают расти, пользовательский спрос начинает опережать существующие вычислительные ресурсы и емкость системы. Вместо того чтобы расширять инвестиции в высокопроизводительные вычисления, университет решил обратиться к облачным хранилищам. Подход оказался экономически эффективным и очень гибким. «Облако» позволяет задействовать вычислительные ресурсы, необходимые для решения определенной задачи, и выполнять эти вычисления ровно столько времени, сколько требуется.

На другой стороне Атлантики Йоркский университет (Великобритания) также решил использовать облачный подход к HPC. Технология широко используется преподавателями и студентами факультетов биологии, физики, химии и информатики, а также лингвистами и представителями ряда других дисциплин. В настоящее время для анализа данных последовательностей ДНК специалисты университета используют Google Cloud.

К облачным системам HPC предъявляются различные требования – ​одним нужно большее количество процессоров, другим – ​больший объем памяти, при этом актуальным остается и сверхбыстрый доступ к диску. Некоторые исследователи начинают заниматься методами машинного обучения и хотят задействовать разные архитектуры. Однозначным остается одно: широкий круг пользователей, работающих с данной технологией, порождает потребность в расширении вариантов пакетов услуг.

Высокопроизводительные вычисления с применением суперкомпьютера

Хотя облачные сервисы HPC предлагают определенные преимущества, это не всегда лучший или наиболее логичный выбор для предприятий, заинтересованных в безопасности и конфиденциальности. Существует ряд опасений относительно того, где хранятся данные. Например, речь может идти об ограничениях, накладываемых европейским регламентом GDPR.

Университет Майами (США) недавно захотел решить вопрос как с конфиденциальностью, так и с необходимостью больших вычислительных мощностей, чтобы инвестировать средства в новую локальную систему HPC на базе суперкомпьютера. Самое главное, по мнению университета, то, что исследовательские проекты с массивными многомерными наборами данных могут выполняться намного быстрее при помощи специально разработанных высокопроизводительных суперкомпьютеров.

В августе прошлого года университет представил свой новый суперкомпьютер IBM Triton, основанный на серверах Power Systems AC922. Более двух тысяч студентов и преподавателей уже используют систему для работы над такими проектами, как прогнозирование климата, геномика, биоинформатика, компьютерное зрение и работа с ИИ.

Хотя внедрение системы и было успешным, специалисты столкнулись с некоторыми препятствиями, которых может ожидать практически любой пользователь HPC, независимо от объема его задач, области применения или вычислительных потребностей. Возникают вопросы обучения пользователей и их переподготовки. Кроме того, интеграция новой системы с унаследованными системами хранения всегда выводит на первый план старые недоработки, которые необходимо устранять и подстраивать под собственные нужды [2].

Говоря о HPC с использованием суперкомпьютеров в целом, необходимо рассмотреть рейтинг 10 наиболее производительных машин мира. В нем пять систем приходится на США, по две на КНР и Европу и одна – ​на Японию (см. таблицу).

Надо отметить, что в соревновании по производительности в последние годы участвуют только американские и китайские суперкомпьютеры, при этом машинам КНР удавалось несколько раз выйти на первое место [3].

УПРАВЛЕНИЕ рабочими нагрузками HPC

Нельзя недооценивать важность выбора правильных инструментов управления ресурсами, которые позволяют организации получать доступ и оптимизировать сегменты использования высокопроизводительных вычислений. Специалисты считают, что независимо от того, покупается ли традиционная аппаратная среда HPC, используется ли HPC в «облаке» или применяется комбинированный подход, выбор диспетчера рабочей нагрузки HPC для обслуживаемых типов задач и требований к пропускной способности имеет первостепенное значение. Диспетчер рабочей нагрузки способен автоматизировать планирование заданий, а также функции управления, мониторинга и отчетности [2].

Таблица

Рейтинг 10 наиболее производительных суперкомпьютеров по состоянию на ноябрь 2019 г.

* PFLOPS (petaflops) – ​петафлопс, возможность вычислительной машины или сети проводить 1 квадриллион (1×10²⁴) вычислений с плавающей точкой в секунду (FLOPS).

** GPFLOPS (gigaflops) – ​гигафлопс, возможность вычислительной машины или сети проводить 1 миллиард (1×10⁹) вычислений с плавающей точкой в секунду.

1. High Performance Computing Market. MarketsandMarkets, Published Date: Aug 2019, Report Code: TC2204: https://www.marketsandmarkets.com/Market-Reports/Quantum-High-Performance-Computing-Market‑631.html 

2. Edwards John. High Performance Computing: Do You Need It? Network World, October 4, 2019: https://www.networkworld.com/article/3444399/high-performance-computing-do-you-need-it.html 

3. Greene Tim. 10 of the World’s Fastest Supercomputers. IDG News Service, November 18, 2019: https://www.networkworld.com/article/3236875/embargo‑10-of-the-worlds-fastest-supercomputers.html