Развитие сектора информационных систем краевого искусственного интеллекта

Развитие сектора информационных систем краевого искусственного интеллекта

Выпуск 5 (6704) от 12 марта 2020 г.
РУБРИКА: МИКРОЭЛЕКТРОНИКА

При работе краевого искусственного интеллекта снижается частота обращений к «облаку» и объем передаваемой информации. Схемы краевого ИИ позволяют существенно увеличить автономность систем, питаемых от аккумуляторов или батареек. По оценкам специалистов, отгрузки ИС краевого ИИ в период 2020–2024 гг. увеличатся более чем вдвое. При этом рынок ИС краевого ИИ в потребительском секторе намного больше, чем в корпоративном, но в последнем выше темпы роста. Предполагается, что технология краевого ИИ окажется жизненно важной для приложений, в которых задействован большой объем данных.


Развитие сектора ИС краевого искусственного интеллекта

По прогнозу международной консалтинговой компании Deloitte Insights в 2020 г. в мире будет продано более 750 млн ИС краевого искусственного интеллекта – ​кристаллов ИС или их частей, предназначенных для выполнения или ускорения задач машинного обучения на оконечном приборе, а не в удаленном центре обработки данных (ЦОД). В денежном выражении это составит суммарно 2,6 млрд долл. Кроме того, рынок ИС краевого ИИ будет расти намного быстрее, чем рынок ИС в целом. В 2024 г. отгрузки ИС краевого ИИ превысят (возможно, намного) 1,5 млрд шт. Соответственно, среднегодовые темпы прироста в сложных процентах (CAGR) за прогнозируемый период составят не менее 20% по сравнению с 9% по всей полупроводниковой промышленности.

Потребительский рынок ИС краевого ИИ намного больше, чем корпоративный рынок, но он, вероятно, будет расти медленнее – ​CAGR за период 2020–2024 гг. составит 18%. Корпоративный рынок ИС краевого ИИ за этот же период времени покажет CAGR=50%. Тем не менее в 2020 г. на потребительские приборы придется более 90% ИС краевого ИИ как в натуральном, так и в стоимостном выражениях. Подавляющее большинство этих ИС (более 70%) будет использовано в старших моделях смартфонов, т. е. в 2020 г. и в течение следующих нескольких лет рост отгрузок ИС краевого ИИ будет определяться главным образом смартфонами. Предполагается, что в 2020 г. более трети из отгруженных 1,56 млрд смартфонов будет оснащено подобными микросхемами.

Из-за чрезвычайно высоких требований к интенсивности работы процессора ранее вычисления ИИ почти полностью выполнялись удаленно – ​в ЦОД, на основных корпоративных устройствах (компактные сетевые устройства – ​вместо выделенных серверов) или на телекоммуникационных периферийных процессорах, – ​но не локально на оконечных приборах. ИС краевого ИИ меняют ситуацию (рис. 1). Они компактнее, относительно недороги, потребляют гораздо меньше энергии и вырабатывают меньше тепла, что позволяет интегрировать их в портативные приборы, а также в непотребительские системы (например, роботы). Позволяя этим приборам выполнять процессорные вычисления ИИ локально, ИС краевого ИИ уменьшают или устраняют необходимость отправлять большие объемы данных в ЦОД или на другой удаленный ресурс, повышают удобство использования, скорость, безопасность и конфиденциальность данных.



Источник: Deloitte Insights

Рисунок 1. Среды использования вычислений с участием ИИ

* ASIC (application-specific integrated circuit, специализированная ИС) – микросхема для выполнения набора специальных функций, обычно разрабатываемая под конкретного заказчика.

** FPGA (field-programmable gate array) – вентильная матрица, программируемая пользователем.


Обработка данных на оконечном приборе дает также преимущество с точки зрения конфиденциальности и безопасности – ​личная информация так и остается в телефоне, в силу чего не может быть перехвачена или использована во вред. Когда ИС краевого ИИ расположена в смартфоне, она может функционировать даже без подключения к сети.

Разумеется, не все вычисления ИИ должны выполняться локально. Для некоторых приложений отправка данных для обработки удаленным ресурсом ИИ представляется адекватной или даже предпочтительной – ​например, когда данных просто слишком много для обработки ИС краевого ИИ. Судя по всему, большую часть времени ИИ будет реализовываться в гибридной форме: какая-то часть на оконечном приборе, а какая-то – ​в «облаке». Предпочтительное сочетание в любой конкретной ситуации будет варьироваться в зависимости от того, какой именно тип обработки предстоит выполнить.


Экономические вопросы использования краевого ИИ в смартфонах

Смартфоны не единственные устройства, в которых используются ИС краевого ИИ – ​они также содержатся в планшетных ПК, носимой электронике (wearables), умных динамиках и т. п. Однако эти приборы в краткосрочной перспективе, скорее всего, окажут гораздо меньшее влияние на продажи ИС краевого ИИ, чем смартфоны. Это обусловлено тем, что их рынок не растет (планшетные ПК) или слишком мал, чтобы существенно изменить ситуацию (например, в 2020 г. отгрузки умных динамиков и носимой электроники со встроенными ИС краевого ИИ составят всего 125 млн шт. – ​рис. 2).



Источник: Deloitte Insights

Рисунок 2. Прогноз структуры рынка ИС краевого ИИ в 2020 и 2024 гг. (млн шт.)


В настоящее время только в самых дорогих смартфонах, находящихся в верхней трети ценового распределения, используются ИС краевого ИИ. Установка таких схем в смартфон не должна быть слишком дорогой для потребителя.

На сегодняшний день мы располагаем изображениями процессоров смартфонов корпораций Samsung, Apple и Huawei, по которым можно определить, какие части кристаллов для каких функций предназначены. Например, микрофотоснимок кристалла Exynos 9820 корпорации Samsung демонстрирует, что около 5% его общей площади отведено под ядра ИИ. Стоимость всей «системы-на-кристалле» (SoC) прикладного процессора Samsung составляет 70,5 долл. – ​это второй по дороговизне компонент телефона (после дисплея), на нее приходится около 17% номенклатурного перечня материалов в денежном выражении. Если предположить, что секция ИИ стоит столько же, сколько и остальные компоненты, размещенные на площади кристалла, на нейронный процессор краевого ИИ (NPU Exynos) придется около 5% от SoC прикладного процессора, или примерно 3,5 долл.

Аналогичным образом в бионической ИС A12 корпорации Apple под машинное обучение (нейронный процессор) выделено около 7% площади кристалла. Соответственно, при стоимости всей SoC в 72 долл. на краевой ИИ приходится 5,1 долл. (рис. 3). В SoC Kirin 970 корпорации Huawei стоимостью 52,5 долл. секция NPU занимает 2,1% площади кристалла, что предполагает ее стоимость порядка 1,1 долл. Однако площадь кристалла – ​не единственный способ измерить стоимостную долю ИИ. По данным Huawei, NPU в SoC Kirin 970 состоит из 150 млн транзисторов – ​это 2,7% от общего количества транзисторов SoC (5,5 млрд шт.). Таким образом, предположительная стоимость NPU оказывается несколько выше – ​1,42 долл.



Источник: TechInsights / AnandTech

Рисунок 3. В бионической ИС A12 Bionic корпорации Apple под машинное обучение выделено около 7% площади кристалла

* DDR (double data rate) – технология ввода–вывода данных через интерфейс ДОЗУ с удвоенной скоростью.


Несмотря на широкий диапазон затрат можно принять, что в среднем NPU стоят 3,5 долл. за кристалл. Но даже при столь малой цене размер рынка получается большим – ​с учетом объема продаж смартфонов на уровне 1,5 млрд шт. (не говоря уже о планшетах, динамиках и носимых устройствах). Что еще более важно, при средней стоимости в 3,5 долл. для производителя и вероятном минимуме в 1 долл. добавление специализированного NPU краевого ИИ в прикладные процессоры смартфонов начинает выглядеть как простой процесс. Если взять обычную наценку к себестоимости производства в 1 долл., то затраты конечного потребителя увеличиваются всего на 2 долл. Из этого следует, что разместить NPU (со всеми сопутствующими преимуществами в виде лучшей камеры, автономной голосовой поддержки и т. д.) можно даже в смартфоне стоимостью 250 долл., при этом цена последнего увеличится менее чем на 1%.


Источники поставок ИС ИИ: внутренние или сторонние?

Производители смартфонов и других типов приборов используют различные подходы к приобретению ИС краевого ИИ. Решение об источнике поставок принимается в зависимости от таких факторов, как модель телефона и (реже) география сбыта. Некоторые производители покупают ИС прикладных процессоров и модемов у сторонних поставщиков, специализирующихся на производстве и продаже данных компонентов, но не производящих собственные смартфоны. Лучшие примеры здесь – ​корпорации Qualcomm и MediaTek, на которых в совокупности пришлось примерно 60% продаж SoC для смартфонов в 2018 г.

Как Qualcomm, так и MediaTek предлагают такие SoC в широком ценовом диапазоне. Не все из них содержат ИС краевого ИИ, но в старших моделях (включая SoC Snapdragon 845 и 855 от Qualcomm и Helio P60 от MediaTek) они обычно есть. С другой стороны, корпорация Apple вообще не покупает прикладные процессоры сторонних поставщиков – ​она проектирует и использует свои собственные SoC-процессоры, такие как A11, A12 и A13 Bionic ИС, оснащенные средствами краевого ИИ.

Корпорации Samsung и Huawei используют гибридную стратегию, покупая некоторые SoC ИИ у независимых поставщиков и используя свои собственные ИС (такие как Exynos 9820 от Samsung и Kirin 970/980 от Huawei).


Конкуренция среди поставщиков ИС ускорителей ИИ

Если процессоры краевого ИИ, используемые в смартфонах и других устройствах, настолько хороши, почему бы не использовать их и в корпоративных приложениях? Это, по сути, уже произошло для ряда применений – ​например, для некоторых типов автономных беспилотных аппаратов (БПЛА). Беспилотник, оснащенный SoC прикладного процессора для смартфонов, способен перемещаться и обходить препятствия в реальном масштабе времени за счет только собственных приборных ресурсов – ​без подключения к сети.

Однако ИС, оптимизированная для смартфона или планшетного ПК, может не подойти для многих корпоративных или промышленных приложений. Как указывалось ранее, доля сектора краевого ИИ в SoC смартфона занимает всего около 5% общей площади и потребляет примерно на 95% меньше энергии, чем вся SoC. А что, если создать ИС, содержащую только сектор краевого ИИ наряду с несколькими другими необходимыми функциями, такими как память? Подобный прибор окажется компактнее, дешевле и энергоэффективнее.

Такой подход уже довольно широко применяется – ​около 50 компаний работают над разными типами ускорителей ИИ. Автономные ИС краевого ИИ, доступные в 2019 г., были ориентированы на разработчиков конечных систем, покупавших их штучно, примерно по 80 долл. Если объем выпуска этих ИС возрастет до тысяч и миллионов штук, они, скорее всего, станут обходиться покупателям гораздо дешевле – ​от нескольких долларов до нескольких десятков долларов.

Помимо относительной дешевизны, автономные процессоры краевого ИИ обладают преимуществом компактности и относительно низкой потребляемой мощности (от 1 до 10 Вт). В тоже время кластер ЦОД (хотя и очень мощный) из 16 графических процессоров и двух центральных процессоров стоит 400 тыс. долл., весит 180 кг и потребляет 10000 Вт.

ИС краевого ИИ открывают целый спектр новых возможностей в корпоративном секторе, особенно в отношении приложений Интернета вещей. Используя ИС краевого ИИ, компании могут не просто собирать данные с подключенных устройств, но и анализировать их и преобразовывать результаты анализа в конкретные действия, избегая при этом затрат, сложностей и проблем безопасности, связанных с отправкой огромных объемов данных в «облако».


Проблемы, которые ИС ИИ могут помочь решить

Безопасность и конфиденциальность данных. Сбор, хранение и перемещение данных в «облако» неизбежно несут угрозу для кибербезопасности и конфиденциальности, даже если компания бдительно относится к защите данных. В разных юрисдикциях возникают все новые правила, касающиеся личной информации, кроме того, сами потребители становятся более осведомленными о данных, собираемых предприятиями. Некоторые устройства, такие как умные динамики, начинают использоваться в медицинских учреждениях, где конфиденциальность пациентов регулируется еще более строго.

ИС краевого ИИ, позволяющие обрабатывать большие объемы данных локально, помогут снизить риск перехвата или некорректного использования персональных или корпоративных данных. Например, камера видеонаблюдения с обработкой данных средствами машинного обучения анализирует видео, определяя, какие его сегменты являются релевантными, и отправляет в «облако» только их. ИС машинного обучения могут также распознавать более широкий диапазон голосовых команд, за счет чего снижаются объемы аудиоанализа, проводимого в «облаке», и обеспечивается дополнительное преимущество в виде более корректного определения команд активации интеллектуальными динамиками, что позволяет предотвратить прослушивание не связанного с заданными темами разговора.

Проблемы подключаемости. Для обработки данных в «облаке» необходимо подключить к нему соответствующий прибор. Однако в некоторых случаях это нецелесообразно. Например, поддержание связи с беспилотником может быть затруднено в связи с тем, где он работает, из-за невозможности подключиться к «облаку» и негативного влияния процесса загрузки данных в «облако» на время автономной работы. Так, в Новом Южном Уэльсе (Австралия) беспилотники со встроенным машинным обучением патрулируют пляжи, обеспечивая безопасность отдыхающих. Они способны идентифицировать пловцов, захваченных быстрым течением, или предупреждать об опасности нападения акул и крокодилов – ​и все это без подключения к Интернету.

Избыточный объем данных. Приборы Интернета вещей генерируют огромные объемы данных. Например, самолет Airbus A‑350 имеет более 6 тыс. датчиков и генерирует 2,5 Тбайта данных за каждый день полета. Во всем мире камеры видеонаблюдения ежедневно создают около 2500 Пбайт данных. Размещение процессоров машинного обучения на конечных точках, будь то датчики или камеры, помогает решить проблему хранения и анализа этих данных. Камеры, например, могут оснащаться блоками обработки изображений (VPUs), SoC процессоров с низкой потребляемой мощностью, специализированных для анализа или предварительной обработки цифровых изображений, что помогает снизить стоимость хранения и требования к пропускной способности.

Ограничения по потребляемой мощности. При наличии ИС машинного обучения с малой потребляемой мощностью даже приборы с малой емкостью батарей получают возможность выполнять вычисления ИИ без излишнего расхода энергии. Так, ИС ядер процессоров фирмы ARM встраиваются в медицинские ингаляторы для анализа данных о емкости легких при вдохе и о потоке лекарств, направляемом в легкие. Результаты анализа, отправленные в приложение на смартфоне, помогают врачам разрабатывать персонализированный план лечения больных астмой. В дополнение к имеющимся в настоящее время маломощным NPU краевого ИИ ряд фирм работает над средствами «крошечного машинного обу-чения» (tiny machine learning) для микроконтроллеров. Корпорация Google, например, разрабатывает версию TensorFlow Lite, которая позволит микроконтроллерам анализировать данные, сжимая пакеты, отправляемые на внешние средства, до нескольких байт.

Требования ко времени ожидания. Независимо от того, идет ли речь о проводной или беспроводной сети, выполнение вычислений ИИ в удаленном ЦОД означает время ожидания результатов около 1–2 мс в лучшем случае и десятки или даже сотни миллисекунд – ​в худшем. Реализация ИИ на приборе с использованием ИС краевого ИИ позволит сократить время ожидания до наносекунд. Это очень важно для применений, где сбор, обработка данных и действие на основе их анализа должны происходить практически мгновенно. Так, например, автономные транспортные средства должны собирать и обрабатывать огромные объемы данных от систем компьютерного зрения (идентификация объектов) и от датчиков, контролирующих функции ТС, и немедленно преобразовывать их в решения – ​когда поворачивать, тормозить или ускоряться, – ​чтобы обеспечить безопасное вождение. Следовательно, большую часть данных необходимо обрабатывать «на месте». Малое время ожидания также важно для роботов – ​и станет еще важнее, когда роботы выйдут за пределы жестких алгоритмов для совместной работы с людьми.


ПЕРСПЕКТИВЫ КРАЕВОГО ИИ

Распространение ИС краевого ИИ, повлечет за собой значительные изменения. Для потребителей это означает реализацию множества функций – ​от разблокировки телефона и разговора с голосовым помощником до получения высококачественных фотографий в чрезвычайно сложных условиях, причем без необходимости подключаться к Интернету.

Однако влияние ИС краевого ИИ окажется еще большим при использовании на предприятиях. Умные машины, работающие на ИС ИИ, помогут расширить существующие рынки, поставить в крайне сложные условия фирмы, не применяющие ИС ИИ в своей продукции, и изменить распределение прибыли в таких отраслях, как обрабатывающая промышленность, строительство, логистика, сельское хозяйство и энергетика. Способность собирать, интерпретировать огромные объемы данных и немедленно действовать на основании сформулированных на их основе выводов имеет решающее значение для приложений видеомониторинга, виртуальной реальности, автономных БПЛА и ТС. Образ будущего в значительной степени зависит от реализации ИИ на оконечных приборах – ​которую смогут сделать возможной ИС краевого ИИ.


Stewart Duncan, Loucks Jeff. Putting AI into the Edge is a No-Brainer and Here’s Why. EE Times, February 18, 2020: https://www.eetimes.com/putting-ai-into-the-edge-is-a-no-brainer-and-heres-why/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.
Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.