ВЫБОР РЕДАКЦИИ

Проблемы разработки программно-управляемого аппаратного обеспечения

Искусственный интеллект – перспективы развития

Наступление эры искусственного интеллекта реального масштаба времени

Искусственный интеллект и увеличение интереса к краевым вычислениям

Бесшовная связь – становой хребет Четвертой промышленной революции

Использование биометрии в Сухопутных войсках США

Вопросы развития краевых вычислений

Машинное обучение открывает новые возможности FPGA

Материалы Симпозиума SEMI по промышленной политике

Современное состояние и перспективы развития рынка САПР

Teraki совершает «квантовый скачок» в сфере больших данных

Бум стартапов во Франции

Материалы Симпозиума SEMI по промышленной политике

Вопросы развития краевых вычислений

Экономические аспекты развития технологий искусственного интеллекта

О перспективах рынка потребительской электроники

Средства искусственного интеллекта учатся распознавать звуки

Превосходство КНР в области искусственного интеллекта: правда или миф?

Некоторые проблемы развития памяти с высокой пропускной способностью

Новые тенденции использования машинного обучения при проектировании и обработке изображений

Расширение памяти в промышленных и потребительских системах с человеко-машинным интерфейсом

Вопросы обеспечения безопасности Интернета вещей

Оценка рынка микроконтроллеров и микропроцессоров

Машинное обучение открывает новые возможности FPGA

Корпорация Tachyum активизирует работу с правительственными клиентами

Повышение способности искусственного интеллекта к самостоятельному обучению при помощи ReRAM

Искусственный интеллект: основные опасности и способы заработка на зрелых технологиях

Технология, которая ускорит навигацию роботов

LF Energy и Sony CSL планируют сотрудничество в проекте микросетей с открытым исходным кодом

Новые области применения искусственного интеллекта

Человеко-машинный интерфейс умных домов и краевой искусственный интеллект

Проблемы использования Wi-Fi в Интернете вещей

Переход от полноразмерных облачных хранилищ к клаудлетам

В Корал-Гейблс запущена платформа Smart City Hub

Проблемы кибербезопасности Интернета вещей

Искусственный интеллект и модели обмена знаниями

Новая политика регулирования Интернета вещей ОАЭ

Состояние и перспективы рынка 300‑мм пластин: прогноз специалистов SEMI

Платформа Microchip Trust призвана упростить аппаратную безопасность Интернета вещей

Высокоэффективные макетные платы для разработки приборов Интернета вещей

Перспективы развития микроконтроллеров с краевым искусственным интеллектом

Перспективы развития микроконтроллеров с краевым искусственным интеллектом

Выпуск 6 (6705) от 26 марта 2020 г.
РУБРИКА: МИКРОЭЛЕКТРОНИКА

Что получится, если соединить искусственный интеллект с Интернетом вещей? Очевидный ответ – ​«Интернет вещей на основе искусственного интеллекта» (AIoT), однако помимо него возникает еще и огромная новая область применения микроконтроллеров, развитие которой обеспечивается прогрессом в технологиях нейронных сетей. Иными словами, машинное обучение больше не ограничивается миром суперкомпьютеров: в наши дни прикладные процессоры смартфонов могут формировать выводы ИИ при обработке изображений, в механизмах рекомендаций и в других сложных функциях.

В январе 2020 г. в Кремниевой долине состоялся 2-й Саммит разработчиков технологии микромашинного обучения (TinyML Summit), который спонсировали уже 27, а не 11 фирм. Предполагается, что число сторонников новой технологии будет быстро расти. Специалисты полагают, что первые микроконтроллеры с блоками машинного обучения появятся в течение 2–3 лет, а «захватчики рынка» – ​в ближайшие 3–5 лет. На первом саммите весной 2019 г. корпорация Google продемонстрировала первую подобную структуру (TensorFlow Lite for Microcontrollers) с памятью емкостью всего несколько килобайт – ​прибор на основе ядра ARM Cortex M3, пригодный для реализации модели выявления основных голосовых команд, обладал 22 Кбайт памяти и мог использоваться только для формулирования логических выводов, но не для обучения. Сейчас в данной области открывается много стартапов, наблюдается рост венчурных инвестиций и начало процесса слияний и поглощений.

К разработкам сообщества TinyML большой интерес проявили ведущие поставщики микроконтроллеров, такие как NXP, Renesas и STMicroelectronics. Отмечается, что по мере того, как модели нейронных сетей миниатюризуются, объемы их возможностей расширяются. Большинство известных поставщиков микроконтроллеров считает, что для реализации возможностей TinyML больше всего подходят процессорные ядра семейства Cortex-M. Недавно фирма ARM представила новое ядро Cortex-M55, разработанное специально для целей машинного обучения, особенно при совместном использовании с ускорителем искусственного интеллекта Ethos-U55. Оба этих прибора созданы для сред с ограниченными ресурсами.

Доведение такого рода возможностей до масштабов микроконтроллера открывает обширные перспективы. Например, создание слухового аппарата, использующего ИИ для фильтрации фонового шума от разговоров. Другой вариант – ​умные бытовые приборы, распознающие пользователя по лицу и переключающиеся на его персональные настройки (в случае, если прибор используется несколькими пользователями). Наконец, узлы датчиков с поддержкой ИИ, способные работать в течение многих лет на самых крошечных батарейках. Помимо прочего, обработка данных в оконечной точке обеспечивает соответствие требованиям по времени ожидания, безопасности и конфиденциальности данных (за счет того, что они никуда не передаются), а это нельзя игнорировать.

Достижение осмысленного машинного обучения с помощью приборов уровня микроконтроллеров – ​нелегкая задача. Например, один из ключевых критериев для ИИ-вычислений – ​память, а в микроконтроллерах ее емкость часто сильно ограничена. Однако благодаря быстрому развитию науки о данных уменьшение размера моделей становится возможным. Производители приборов и поставщики сложнофункциональных (СФ) блоков реагируют на ситуацию, разрабатывая инструментальные средства и интегрируя в приборы и СФ-блоки функции, адаптированные к требованиям современного машинного обучения.

Разработчики понимают, что системы Интернета вещей нуждаются в бóльших объемах ИИ, развернутого на оконечных приборах и устройствах. Это позволит снизить время ожидания, повысить конфиденциальность и безопасность данных, производительность и пропускную способность.

Представители Комитета TinyML отмечают перспективу рождения нового мира с триллионами интеллектуальных устройств, поддерживаемых технологиями TinyML. Эти приборы будет способны воспринимать и анализировать обстановку, совместно действовать в автономном режиме, формируя более здоровую и устойчивую окружающую среду. Рост числа подобных устройств стимулируется разработкой более энергоэффективных аппаратных средств и алгоритмов в сочетании с более зрелыми программными средствами. Кроме того, увеличиваются объемы корпоративных и венчурных инвестиций в данной области, растет активность стартапов, расширяется процесс слияний и поглощений.


Основные игроки

Крупные производители микроконтроллеров с интересом наблюдают за развитием событий в сообществе TinyML. По мере того как в рамках исследований модели нейронных сетей становятся все меньше, их возможности, наоборот, расширяются. Большинство крупных производителей обладают средствами поддержки приложений машинного обучения. Например, корпорация STMicroelectronics недавно представила пакет программ расширения STM32Cube AI, позволяющий отображать и запускать нейронные сети на семействе микроконтроллеров STM32 на основе ядер Cortex-M фирмы ARM.

Корпорация Renesas создала среду разработки встраиваемого ИИ, позволяющую формулировать выводы ИИ на микроконтроллерах. Эта среда эффективно переводит модель в форму, которая может быть применена в фирменном средстве e2 studio, совместимом с проектами, использующими языки C/C++.

Ряд клиентов корпорации NXP использует младшие модели ее микроконтроллеров (Kinetis и LPC) для приложений машинного обу-чения. Сама компания сочетает ИИ с аппаратными и программными решениями, хотя в основном ориентирована на свои более крупные прикладные и кроссоверные процессоры.

Помимо крупных игроков в данной области насчитывается значительное количество стартапов.


Роль фирмы ARM

Большинство известных компаний в области микроконтроллеров объединены общим признаком – ​все они используют встраиваемые процессорные ядра фирмы ARM, доминирующие на рынке (в первую очередь это касается семейства Cortex-M). Недавно ARM представила совершенно новое ядро – ​Cortex-M55, разработанное специально для приложений машинного обучения, особенно в сочетании с ускорителем ИИ Ethos-U55. Оба прибора предназначены для сред с ограниченными ресурсами (рис. 1).



Источник: ARM

Рисунок 1. Совместное использование ядер Cortex-M55 и Ethos-U55 фирмы ARM обеспечивает достаточную вычислительную мощность для таких приложений, как обнаружение жестов, биометрия и распознавание речи


Могут ли стартапы и небольшие компании конкурировать с крупными игроками на этом рынке? Да, но не в сфере создания «систем-на-кристалле» (SoC) на основе ядер ARM, где крупные фирмы имеют подавляющее преимущество. Выход – ​в достижении архитектурного преимущества. Например, Xcore, масштабируемый многоядерный кроссоверный процессор фирмы XMOS, обладает не только большими внутренними возможностями с точки зрения производительности, но и гибкостью. Пока недавно выпущенный кроссоверный процессор Xcore.ai для голосовых интерфейсов не будет конкурировать непосредственно с микроконтроллерами, такая позиция будет оставаться верной. Любой компании, производящей SoC на базе ARM, необходимо предлагать нечто особенное, чтобы конкурировать с крупными корпора-циями.


Масштабирование напряжения и частоты

Стартап Eta Compute недавно выпустил TinyML-прибор с ультранизкой потребляемой мощностью. Его можно использовать для машинного обучения в постоянно работающих приложениях обработки изображений, а также в приложениях слияния датчиков, общая потребляемая мощность которых не превышает 100 мкВт. Прибор состоит из двух ядер – ​ядра Cortex-M3 фирмы ARM и ядра ЦОС-процессора фирмы NXP, при этом реализация машинного обучения может осуществляться либо на одном из ядер, либо на обоих одновременно. Ключевая особенность разработки Eta Compute – ​масштабирование на постоянной основе и тактовой частоты, и напряжения обоих ядер. Это экономит много энергии, особенно потому, что достигается без применения фазовой автоподстройки частоты (рис. 2).



Источник: Eta Compute

Рисунок 2. Прибор ECM3532 стартапа Eta Compute использует ядра Cortex-M3 фирмы ARM и ЦОС-процессора CoolFlux фирмы NXP. Машинное обучение может быть реализовано как на одном из ядер, так и на обоих

* GPIO (general purpose input/output) – интерфейс ввода–вывода общего назначения.

** Будильник (watchdog timer) – программируемый контрольный таймер, отслеживающий, работает система или зависла.

*** AHB-Lite – подвид протокола AHB, формально определенный стандартом AMBA 3, упрощающий разработку шины с одним инициатором запросов («хозяином»). AHB (advanced high-performance bus) реализован в архитектуре AMBA (advanced microcontroller bus architecture) компании ARM.

**** UART (universal asynchronous receiver/transmitter) – интерфейс универсального асинхронного приемопередатчика (последовательный интерфейс передачи данных), УАПП-интерфейс.

***** SPI (serial peripheral interface) – последовательный периферийный интерфейс.

****** I2C (inter-integrated circuit) – последовательная асимметричная шина обмена данными между ИС.

******* PDM (pulse density modulation) – интерфейс импульсной модуляции плотности сигналов.

******** I2S (inter-IC sound) – интерфейс электрической последовательной шины, использующийся для соединения цифровых аудиоустройств.


Почему Eta Compute выбрала ядро ARM для средства ускорения машинного обучения со сверхнизкой потребляемой мощностью при наличии альтернативных решений, включая перспективную архитектуру набора команд (instruction set architecture, ISA), продвигаемую некоммерческой организацией RISC‑V Foundation? Ответ прост – ​экосистема ARM очень хорошо развита, и в настоящее время, используя ее, гораздо проще перейти к производству, чем с решениями типа RISC‑V. В будущем ситуация может измениться – ​RISC‑V обладает рядом преимуществ, хорошо подходящих для китайского рынка. Однако для фирм, ориентирующихся в первую очередь на американские и европейские рынки, в настоящее время экосистема ARM предпочтительнее.

Основные трудности развития AIoT заключаются в широте и разнообразии областей применения. Этот рынок заметно фрагментирован, и многие относительно нишевые приложения характеризуются небольшой емкостью, однако в совокупности сектор AIoT потенциально охватывает миллиарды устройств. Проблема разработчиков в том, что они не могут позволить себе тратить время и деньги на разработку индивидуальных решений для каждого из вариантов применения. Соответственно, гибкость и простота использования становятся абсолютно первостепенными. Выбор решений ARM логичен – ​есть экосистема и инструментальные средства, что позволяет клиентам легко разрабатывать продукты и быстро выводить их на рынок без больших усилий на подстраивание под требования потребителей.

Фирма ARM десятилетиями не давала доступ к своей ISA. Однако в октябре 2019 г. она позволила клиентам создавать собственные пользовательские наборы команд для обработки специальных рабочих нагрузок, таких как машинное обучение. Эта возможность, при правильном распоряжении ею, может также обеспечить дальнейшее снижение энергопотребления. Стартап Eta Compute пока не может воспользоваться этим преимуществом, поскольку оно не применяется ретроспективно к существующим ядрам ARM (в т. ч. к ядру Cortex M3, используемому Eta Compute), однако в следующих своих решениях непременно сделает это.


Альтернативные ISA и перспективы развития

Сегодня много внимания привлекает к себе RISC‑V. С одной стороны, эта ISA с открытым исходным кодом позволяет проектировать процессоры без лицензионной платы, а с другой – ​проекты, основанные на ISA RISC‑V, защищены не хуже любого другого типа интеллектуальной собственности. Кроме того, проектировщики могут как выбирать предлагаемые расширения, так и добавлять свои собственные индивидуальные расширения.

Одна из нескольких компаний, использующих ядра RISC‑V для создания средств машинного обучения со сверхнизкой потреб-ляемой мощностью, – ​французский стартап GreenWaves. Его устройства, GAP8 и GAP9, используют 8- и 9-ядерные вычислительные кластеры соответственно. Причин, почему компания использует ядра RISC‑V, несколько. Во-первых, RISC‑V дает возможность настраивать ядра на уровне набора инструкций, что активно используется (пользовательские расширения применяются для снижения потребляемой мощности как при машинном обучении, так и при обработке сигналов). Для стартапа сделать это с любой другой архитектурой процессора либо невозможно, либо слишком дорого, при том что любая задержка или удорожание проекта означают уход денег инвестора в другую компанию. Во-вторых, пользовательские расширения GreenWaves сами по себе улучшают энергопотребление ядер фирмы в 3,6 раза по сравнению с немодифицированными ядрами RISC‑V. К тому же ядра RISC‑V обладают фундаментальными техническими преимуществами из-за своей новизны – ​с точки зрения реализации они являются более простыми структурами, а простота означает меньшую потребляемую мощность. В-третьих, очень важен фактор контроля. В вычислительном кластере прибора GAP8 насчитывается восемь ядер, и для достижения максимальной энергоэффективности требуется очень тонкий, детальный контроль за работой каждого ядра. RISC‑V позволяет это.

Отмечается, что стартап GreenWaves мог бы реализовать свои решения и на основе ядер ARM, что было бы более логично. Инструментальные программные средства ARM по уровню зрелости существенно превосходят инструментарий RISC‑V, однако последний очень быстро совершенствуется.

Возникает мнение, что влияние ARM на рынке микропроцессоров ослабевает – ​во многом из-за возросшей конкуренции со стороны решений RISC‑V, в частности из-за того, что ISA RISC‑V позволяет с самого начала разработки ядер, предназначенных для машинного обучения, вводить индивидуальные расширения. На самом деле на рынок выходят приборы для приложений машинного обучения со сверхнизкой потребляемой мощностью на основе ядер как ARM, так и иных производителей. Поскольку сообщество TinyML продолжает работать над уменьшением размера модели нейронной сети и разработкой специализированных структур и инструментов, этот сектор со временем превратится в жизнеспособную прикладную область, поддерживающую различные решения.


Ward-Foxton Sally. Adapting the Microcontroller for AI in the Endpoint. EE Times, February 19, 2020: https://www.eetimes.com/adapting-the-microcontroller-for-ai-in-the-endpoint/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.
Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.