ВЫБОР РЕДАКЦИИ

Перспективы развития микроконтроллеров с краевым искусственным интеллектом

Проблемы разработки программно-управляемого аппаратного обеспечения

Искусственный интеллект – перспективы развития

Наступление эры искусственного интеллекта реального масштаба времени

Искусственный интеллект и увеличение интереса к краевым вычислениям

Бесшовная связь – становой хребет Четвертой промышленной революции

Использование биометрии в Сухопутных войсках США

Вопросы развития краевых вычислений

Машинное обучение открывает новые возможности FPGA

Материалы Симпозиума SEMI по промышленной политике

Современное состояние и перспективы развития рынка САПР

Teraki совершает «квантовый скачок» в сфере больших данных

Бум стартапов во Франции

Материалы Симпозиума SEMI по промышленной политике

Вопросы развития краевых вычислений

Экономические аспекты развития технологий искусственного интеллекта

О перспективах рынка потребительской электроники

Средства искусственного интеллекта учатся распознавать звуки

Превосходство КНР в области искусственного интеллекта: правда или миф?

Некоторые проблемы развития памяти с высокой пропускной способностью

Развертывание сетей 5G и краевые (пограничные) вычисления

Yole Développement: исследование рынка MEMS

Новые области применения искусственного интеллекта

Перспективы развития нейроморфных вычислений и их возможная конкуренция с ускорителями искусственного интеллекта

Корпорация Intel ускоряет разработку средств ИИ для облачных и краевых вычислений с повышенным быстродействием

Развитие сектора информационных систем краевого искусственного интеллекта

Руководство электронных фирм – о перспективах 2020 г.: опрос журнала Semiconductor Engineering

Arm v9 – новая архитектура фирмы ARM

Глубокое обучение и предельные краевые вычисления

Глубокое обучение и предельные краевые вычисления

Выпуск 19 (6718) от 01 октября 2020 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

В последние годы, благодаря огромному прогрессу, достигнутому научно-исследовательскими организациями, промышленными корпорациями и крупнейшими Интернет-провайдерами, интерес к машинному обучению и искусственному интеллекту снова вырос. Этому также способствовали многочисленные случаи использования нейронных сетей в автономных транспортных средствах, камерах наблюдения, здравоохранении и электронной коммерции. Однако глубокое обучение еще не достигло окраин электронного мира – ​сферы краевых вычислений и оконечных устройств с микроконтроллерами, характеризующихся сильными ограничениями по энергопотреблению и производительности. Разработка фирмы Eta Compute призвана изменить ситуацию и сделать реальностью использование на оконечных приборах и в краевых вычислениях нейронных сетей, способных формулировать логические выводы.


Аргументы в пользу глубокого обучения

Искусственный интеллект (ИИ) охватывает множество областей – ​от решения задач и принятия решений до планирования и обработки информации на естественном языке (в письменной и устной форме). В каждой из этих областей исследователями и практическими работниками создано множество методов, показавших достаточно хорошие результаты и пригодных для использования в коммерческой продукции в реальных условиях.

Среди этих технологий большое внимание в последнее время уделяется машинному обучению – ​благодаря широко разрекламированным достижениям ведущих исследовательских групп. Алгоритмы глубокого обучения продемонстрировали парачеловеческие возможности в различных областях, таких как классификация изображений, ведение игры, чтение по губам, распознавание речи.

Помимо достигнутых успехов методы глубокого обучения и искусственные нейронные сети обладают рядом преимуществ, которые оправдывают проявляемый к этим методам и сетям интерес. Алгоритмы немашинного обучения предполагают, что человек-проектировщик переводит свое знание мира в формируемый алгоритм. Традиционные алгоритмы машинного обучения, такие как дерево решений и линейная регрессия, требуют четкого понимания характерных особенностей, влияющих на обучение. Таким образом, для применения этих двух подходов необходимо экспертное знание предметной области, что приводит к фрагментации ИИ на множественные подобласти.

Глубокое обучение отличается тем, что не требует досконального понимания характерных особенностей алгоритмов и областей ИИ. С учетом базового понимания важных входных данных, методы глубокого обучения позволяют извлекать характерные особенности без необходимости для разработчиков анализировать данные. Нейронные сети глубокого обучения фактически представляют собой универсальные аппроксиматоры функций – ​и могут аппроксимировать любую функцию при наличии достаточных объемов данных. Это свойство было формально продемонстрировано в 2017 г. в работе [1].

Глубокое обучение становится общепринятым языком всех областей ИИ – ​как благодаря присущим ему преимуществам и наличию огромных объемов данных, доступных к получению через Интернет, так и благодаря существованию таких структур, как TensorFlow и PyTorch. Это объединяет сообщество разработчиков средств ИИ, а большинство приложений, в которых ранее использовались фирменные (проприетарные) алгоритмы, уже в значительной степени переведены на тот или иной уровень глубокого обучения.


Глубокое обучение в предельных краевых вычислениях

Алгоритмы глубокого обучения сначала появились в суперкомпьютерах и серверах баз данных предприятий, затем в виде web- и SaaS-приложений, а позднее проникли в Интернет вещей (голосовые помощники, полуавтономные машины, камеры наблюдения, мобильные телефоны). Работа всех подобных приборов ограничена рамками потребляемой мощности, производительности и стоимости. Преодоление этих границ – ​следующий логический шаг в развитии нейронных сетей, который позволит им достичь области предельных краевых вычислений и реализующих их приборов. Речь идет о миллиардах приборов и устройств, действующих в повседневной жизни человека. В таблице приведены требования к облачным, краевым и предельным краевым вычислениям, а также используемым в них приборам.


Таблица

Требования к облачным, краевым и предельным краевым вычислениям, а также используемым приборам

Показатель

Облачные вычисления

Краевые вычисления

Предельные краевые вычисления

Потребляемая мощность процессора

>100 Вт

100–0,1 Вт

10–1 мВт

Производительность

>1 TOPS

1 TOPS – ​1 GOPS

1 GOPS – ​1 MOPS

Баланс мощности ИИ

>10 Вт

>100 мВт

до 1 мВт

Примечание: TOPS, GOPS, MOPS – ​триллион, миллиард и миллион операций в секунду соответственно.


К области предельных краевых вычислений относятся повседневно используемые человеком приборы, составляющие большую часть устройств Интернета вещей:

здания: термостаты, детекторы дыма, датчики сигнализации;

домашнее оборудование: стиральные машины, телевизоры, наушники;

медицина и фитнес: фитнес-пояса, мониторы состояния здоровья, слуховые аппараты;

логистика: отслеживание перемещения активов, маячки и идентификационные метки для розничной торговли, дистанционный мониторинг;

промышленность: двигатели, промышленные сети, промышленные датчики.


Проблемы с данными и распространение Интернета вещей на основе ИИ

Название «Интернет вещей» появилось более 20 лет назад. С тех пор концепция стала реальностью, к «облакам» подключены миллиарды приборов. С появлением Интернета вещей связана проблема, в то время до конца не осознанная: сложность и стоимость управления данными. По прогнозам исследовательской корпорации IDC (Фремингем, шт. Массачусетс, США), при сохранении нынешних темпов развития Интернета вещей в 2025 г. соответствующие приборы будут генерировать 79,4 Збайт (зеттабайт – ​1021 байт) данных. Все эти данные влияют на устойчивость Интернета вещей и окупаемость осуществленных в него инвестиций (прибыль на инвестированный капитал):

затраты на хранение: данные должны где-то храниться и поддерживаться, что увеличивает издержки;

безопасность и конфиденциальность: во время передачи данных и в самом «облаке» данные уязвимы с точки зрения безопасности и конфиденциальности;

расходы на связь: передача данных с прибора Интернета вещей в «облако» оплачивается сотовым оператором;

реакция в реальном масштабе времени: передача данных в «облако» увеличивает время ожидания и ограничивает возможности системы Интернета вещей в реальном масштабе времени.

Ввиду перечисленного возникает потребность в обработке как можно бóльших объемов данных на самих приборах Интернета вещей. Таким образом обеспечивается бóльший уровень безопасности, снижается трафик – ​за счет передачи в «облако» только полезной информации. Несколько фирм-провайдеров облачных услуг и ведущих корпораций индустрии Интернета вещей продвигают идею оснащения приборов Интернета вещей расширенными интеллектуальными возможностями. Эта концепция получила наименование «Интернета вещей на основе ИИ» (artificial intelligence IoT, AIoT).


Проблемы глубокого обучения в области предельных краевых вычислений

AIoT, как и предшествующий ему Интернет вещей, помимо больших перспектив обладает собственным комплексом проблем, порожденных уникальной природой предельных краевых вычислений. Главная из них – ​вопрос потребляемой мощности. Многие приборы, на которых реализуются предельные краевые вычисления, питаются от батареек, оснащены средствами сбора и преобразования энергииили имеют ограничения по потребляемой мощности. Так, устройства, способные воспринимать и воспроизводить звуки или речь, должны работать около пяти часов – ​при подключении Bluetooth и потоковой музыки. Емкость их батарей обычно составляет 50 мА·ч. С помощью ИИ возможности таких приборов могут быть расширены за счет дополнительных функций, таких как улучшение слуха, обнаружение событий, контекстно-ориентированное прослушивание аудиоматериалов. Но при этом все должно осуществляться в рамках того же самого баланса мощности. К домашнему оборудованию предъявляются строгие требования с точки зрения потребления мощности в режиме ожидания – ​она не может превышать 0,5 Вт. В этом случае при соблюдении лимита потребляемой мощности ИИ может использоваться для объединения функций голосовой активации и речевого пользовательского интерфейса.

Управляющие строительными объектами заинтересованы в снижении энергопотребления, затраты на которое составляют в среднем 19% стоимости эксплуатации здания. Датчики, оснащенные ИИ, могут оптимизировать энергопотребление всего объекта, но их применение имеет смысл только в том случае, если общая стоимость используемых датчиков остается достаточно низкой. Таким образом, второй по значимости проблемой AIoT можно считать ограничения по стоимости. Приборы, реализующие предельные краевые вычисления, воспринимаются либо как товары широкого потребления, либо являются частью обширной инфраструктуры. В обоих случаях такие приборы должны быть недорогими, чтобы сделать их развертывание целесообразным.

Третья проблема AIoT – ​ограничение по производительности, связанное с ограничениями по потребляемой мощности и стоимости. Между этими тремя параметрами существует естественный компромисс. Увеличение производительности допустимо, только если оно не сопровождается значительным увеличением цены или потребляемой мощности. Именно по этой причине в приборах предельных краевых вычислений используются не гигагерцевые графические процессоры или многопотоковые процессоры, а микроконтроллеры, работающие на частоте нескольких сотен мегагерц. В то время как мобильные телефоны и автономные транспортные средства допускают использование дорогостоящих высокопроизводительных архитектур с большой емкостью памяти (наподобие графических или прикладных процессоров), оконечные приборы предельных краевых вычислений – ​это область использования микроконтроллеров стоимостью менее 10 долл. Подобные микроконтроллеры обладают высокой степенью интегрируемости, встраиваемой памятью, возможностью генерации энергии. Помимо этого, в их состав могут входить система тактовой синхронизации, контроллер, аналоговые функциональные блоки. Фактически они представляют собой «системы-на-кристалле», что позволяет делать конструкцию конечного изделия достаточно простой и рентабельной.

Наконец, существует вопрос с нейронными сетями в предельных краевых вычислениях. Все три перечисленных выше ограничения не помешали некоторым поставщикам микроконтроллеров экспериментировать со встраиваемым ИИ или машинным обучением в области краевых вычислений. Уже существует значительное количество реализаций нейронных сетей для микроконтроллеров, однако их действенность несколько ограничена. Они слишком быстро достигают установленных ограничений по потребляемой мощности и производительности, что затрудняет создание решений, пригодных для внедрения в производство. Специалисты отмечают, что в этом случае одним совершенствованием традиционной конструкции микроконтроллера не обойтись – ​требуются радикальные подходы.


Решение корпорации Eta Compute

Уникальный подход корпорации Eta Compute состоит в том, чтобы воздействовать на ограничения непосредственно, за счет заново изобретенных способов проектирования и использования микроконтроллеров. Преобразовательная технология низкой мощности и многоядерная конструкция были призваны решить проблемы ограничений по производительности, потребляемой мощности и стоимости.

Традиционные микроконтроллеры и микропроцессоры полностью синхронны и выполняют все операции в соответствии с внутренними часами. В основе этих приборов лежит комбинационная логика: все логические операции должны завершаться в течение одного такта и соответствовать настройке и времени удержания триггеров. Если у синхронизатора наблюдается фазовый сдвиг хронирующих импульсов, то максимальный период синхронизации уменьшается (см. рисунок).



Источник: Eta Compute

Зависимость максимального периода синхронизации от фазового сдвига хронирующих импульсов


Это соотношение выражается в следующих формулах:

               Tcomb < Tclk – Tsetup – Tcq – Tskew ,     (1)

                       Td > Thold + Tskew – Tcq , (2)

где Tcomb – ​время прохождения комбинаторного пути для обеспечения проверки достоверности данных, Td – ​время от комбинаторного выхода до начала изменений, Tclk – ​период тактовых импульсов, Tskew – ​фазовый сдвиг синхронизирующих импульсов, Tsetup – ​минимальная установка параметров, Thold – ​время удержания триггера, Tcq – ​запуск триггера задержки от синхронизации до вывода данных.

Tcomb, Tsetup, Thold, Tskew, Tcq, Td варьируются в зависимости от напряжения, температуры и изменчивости параметров производственного процесса. Когда проектировщики моделируют свою схему, они должны убедиться в том, что все комбинаторные пути соответствуют (1) и (2) по каждому условию. Эта операция называется «замыканием синхронизации».


Динамическое напряжение и частотное масштабирование

В традиционных микроконтроллерах и микропроцессорах напряжение логики оказывает значительное воздействие на скорость распространения сигнала и синхронизацию. В зависимости от технологии и частоты, которой требуется достичь, проектировщики используют фиксированное «базовое» напряжение питания – ​обычно от 0,9 до 1,2 В.

В случае необходимости снизить потребляемую мощность одним из вариантов решения становится понижение напряжения. Действительно, динамическая потребляемая мощность в схемах синхронизации в основном состоит из коммутационных потерь и пропорциональна квадрату напряжения.

Это соотношение отражается следующей формулой:

                 Pcpu = Ceff × VDD2 × fSW + Pleak,      (3)

где Pcpu – ​потребляемая мощность центрального процессора, Ceff – ​эквивалентная эффективная емкость схемы, VDD – ​напряжение, fSW – ​частота схемы, Pleak – ​утечка мощности.

Таким образом, при снижении напряжения потребляемая мощность падает пропорционально квадрату напряжения, что очень выгодно. Недостаток заключается в том, что при уменьшении напряжения уменьшается и частота. Если есть возможность управлять и частотой, и напряжением, то появляется и возможность реализовать схему с регулируемым напряжением, в которой напряжение динамически изменяется с частотой. Это называется динамическим масштабированием напряжения и частоты (dynamic voltage frequency scaling, DVFS).

Проблема в том, что в полностью синхронизированной конструкции влияние напряжения на синхронизацию зависит от устройства. При изменении напряжения изменчивость параметров от устройства к устройству серьезно возрастает, что существенно усложняет замыкание синхронизации.

Подобная изменчивость параметров ограничивает применение и воздействие динамического масштабирования напряжения и частоты в традиционных схемах: DVFS обычно ограничивается небольшим диапазоном напряжений, порядка нескольких сотен милливольт, а также несколькими заранее определенными дискретными уровнями напряжения.


Новый подход к потребляемой мощности: самосинхронизирующееся непрерывное масштабирование напряжения и частоты

Специалисты корпорации Eta Compute взглянули на проблему под другим углом. Они поставили перед собой вопрос: «Что, если бы каждый прибор мог самостоятельно адаптироваться к подобным изменениям и автоматически регулировать напряжение и частоту?»

В этом и заключается идея, лежащая в основе запатентованной технологии Eta Compute – ​непрерывное масштабирование напряжения и частоты (continuous voltage and frequency scaling, CVFS). При использовании данной технологии логика самосинхронизируется, автоматически регулируя базовое напряжение питания и тактовую частоту, предотвращая нарушение синхронизации. Это позволяет непрерывно модулировать частоту и напряжение, что, в свою очередь, дает возможность устанавливать наиболее эффективный режим работы для каждой данной рабочей нагрузки.

Таким образом, CVFS обеспечивает самые низкие показатели потребляемой мощности при работе в широком диапазоне напряжений и в полном диапазоне температур и параметров производственного процесса [2].

Продолжение статьи читайте в следующем выпуске.


1. Lu Z., Pu H., Wang F., Hu Z., Wang L. The Expressive Power of Neural Networks: A View from the Width. Neural Information Processing Systems, 2017, 6231–6239: https://deepai.org/publication/cmsis-nn-efficient-neural-network-kernels-for-arm-cortex-m-cpus 

2. Raghavan Gopal, Haddad Semir. Deep Learning at the Extreme Edge: A Manifesto. September 1, 2020: https://www.semiconductor-digest.com/2020/09/01/deep-learning-at-the-extreme-edge-a-manifesto/


В ЦЕНТРЕ ВНИМАНИЯ

Eta Compute

Дата основания : 2015 г.
Штабквартира: Уэстлейк-Виллидж, шт. Калифорния, США.
Инвестиции: 11,4 млн долл. (2020 г.).

Решения Eta Compute обеспечивают максимально эффективную обработку данных ИИ инновационными промышленными и потребительскими приложениями, устраняя ограничение по емкости аккумулятора. Запатентованная технология самотактируемого масштабирования напряжения и частоты (self-timed continuous voltage and frequency scaling technology, CVFS) обеспечивает беспрецедентные возможности использования ИИ для продуктов с ограниченным энергопотреб-лением.

Платформы нейронных датчиков Eta Compute позволяют ИИ работать на периферийных устройствах, преобразуя в полезную информацию данные с датчиков голоса, активности, жестов, звука, изображения, температуры, давления, биометрических показателей и т. д. Обеспечиваются три преимущества краевых вычислений: меньшее время отклика, повышенная безопасность и более высокая точность.

Один из продуктов компании – ​плата со сверхнизким энергопотреблением для периферийного ИИ ECM3532, созданная с использованием запатентованной Eta Compute технологии CVFS. Плата оснащена датчиками, способными запускать множество алгоритмов: классификация звука, определение ключевых слов, классификация активности, понимание контекста, обнаружение дефектов и др.


ЧИТАЙТЕ ТАКЖЕ

Выпуск 22(6746) от 11 ноября 2021 г. г.
Выпуск 21(6745) от 28 октября 2021 г. г.