Создание Общества по проблемам методик глубокого обучения для систем со сверхмалым энергопотреблением

Создание Общества по проблемам методик глубокого обучения для систем со сверхмалым энергопотреблением

Выпуск 9(6683) от 07 мая 2019 г.
РУБРИКА: ПРОРЫВНЫЕ ТЕХНОЛОГИИ МИКРО И РАДИОЭЛЕКТРОНИКИ

В конце марта 2019 г. в г. Саннивейл (шт. Калифорния, США) собралась учредительная конференция Общества TinyML, на которой присутствовало более 200 отраслевых специалистов. Цель новой организации – ​содействие развитию методик глубокого обучения для систем со сверхмалой потребляемой мощностью. В рамках состоявшихся дискуссий были высказаны различные точки зрения на аспекты деятельности TinyML и охватываемые обществом направления работ.

В конференции принимали участие представители ARM, BabbleLabs, Google, Microsoft, Qualcomm, Управления перспективных научно-исследовательских работ МО США (DARPA). Калифорнийского университета в Беркли, Левенского католического университета и Университета штата Мичиган. Учредительная двухдневная конференция Общества TinyML проходила в штаб-квартире корпорации Google. Основными вопросами обсуждения стали архитектуры, глубокое и машинное обучение, ПО и услуги транскрипции, прикладные применения, работа с данными, работы DARPA и распознание речи.


АРХИТЕКТУРЫ

Выступавшие отметили разрыв между исследователями и проектировщиками систем. Первые изменяют подходы к разработкам и архитектуры, постоянно открывая что-то новое в области весовых коэффициентов разных факторов, методах сжатия данных, форматах и квантовании. Иначе говоря, идет постоянное изменение семантики. Проектировщикам систем это неудобно, но им приходится идти за исследователями, чтобы не допустить критического отрыва от уровня передовых технологий. Ожидается, что в течение нескольких ближайших лет у ускорителей, не выполняющих вычислений общего назначения для поддержки новых производственных методов и функций активации, перспектив не останется.

Тем не менее создание систем с искусственным интеллектом и сверхмалой потребляемой мощностью – ​дело не одного года. Специалисты корпорации Microsoft полагают, что один из перспективных выходов – ​использование вентильных матриц, программируемых пользователем (FPGA). Именно поэтому корпорация осуществляет инвестиции в разработку FPGA с целью ускорения своих облачных сервисов Azure. Для обеспечения аппаратных инноваций необходимо создать правильные уровни абстракции, для чего желательны аппаратные ускорители с открытым исходным кодом.

Разработчики корпорации ARM указали, что создание стандартов соответствия может стать первым шагом TinyML, который обеспечит исследователям в области краевых вычислений такие же возможности, как и в облачных вычислениях.

Специалисты Принстонского университета, специализирующиеся на процессорах ИИ в памяти, подчеркнули, что участникам альянса нужны надежные функциональные спецификации на любом уровне их деятельности. Если такие спецификации будут реализованы на должных уровнях, они обеспечат точку входа в другие слои – ​это лучший вариант развития событий.


ГЛУБОКОЕ И МАШИННОЕ ОБУЧЕНИЕ

Около четырех лет назад казалось, что машинное обучение сформировалось как уже достаточно рутинное направление. Однако появление новых форматов операций с плавающей запятой и методик сжатия данных открыло новые пути развития. При этом программная экосистема нового направления сильно фрагментирована, каждый крупный участник, такой как Amazon, Google, Facebook и т. д., пытается охватить как можно большую область и насадить в ней свои подходы и спецификации. На данный момент существует как минимум четыре компилятора ИИ, а создаваемые в рамках работ членов TinyML ИС вряд ли будут использоваться традиционными проектировщиками встраиваемых решений (по крайней мере в ближайшее время). Соответственно, членам TinyML следует стабилизировать программные интерфейсы и осуществлять инвестиции в функциональную совместимость, а комитету по стандартам создаваемого общества предстоит работа над созданием общепринятого интерфейса.

Кроме того, состоялось обсуждение основных проблем глубокого обучения (рис. 1).



Источник: Berkeley, Keutzer

Рисунок 1. Основные проблемы глубокого обучения – поиск, маркировка и курирование* данных

* Курирование данных (data curation) – организация и интеграция данных, собираемых из разных источников. Включает аннотирование, публикацию и представление данных таким образом, чтобы их ценность сохранялась с течением времени, при этом данные остаются доступными для повторного использования и хранения.


ПО, УСЛУГИ ТРАНСКРИПЦИИ И РАСПОЗНАВАНИЕ РЕЧИ

Специалисты ARM, координирующие свою работу с создателями ПО для Интернета вещей, отмечают, что системы TinyML можно создавать и с современными ИС. Формирование новых технологий занимает около десятилетия, а область, оформляющаяся сейчас как TinyML, насчитывает всего 3–4 года развития. При этом нет смысла тратить силы на поиски единого «захватчика рынка» (применения или платформы). Сейчас в области TinyML сотни сегментов, каждый из которых сам по себе не годится на главенствующую роль, соответственно, нужно формирование перспективных применений на многих рынках.

Специалисты, работавшие над услугами транскрипции для смартфонов Pixel корпорации Google с использованием моделей нейронной сети емкостью около 100 Мбайт, отмечают, что в случае создания недорогого (порядка 50 центов) кристалла ИС с эффективным распознаванием речи спрос на него со стороны изготовителей миллиардов конечных приборов и систем обеспечен. Формирование такого объемного рынка – ​хороший стимул для работ в сфере TinyML.

Представители различных фирм высказывались о перспективах в целом и выбираемых ими направлениях работ. Так, фирма BabbleLabs стремится создать и занять уникальную нишу в средствах распознания голоса для систем на основе глубокого обучения. Этот стартап, ставший одним из организаторов альянса TinyML, создает умеренно сложные модели с примерно 20 слоями, в которых размещается память емкостью менее 100 Кбайт, предназначенная для передачи голосовых команд на телевизоры и другие встраиваемые приборы. ПО стартапа работает со схемами i.MX (NXP), Apollo 3 (Ambiq) и Fusion F1 (Tensilica). Разработчики могут перейти от нового набора команд к обученной модели всего за две недели. Правда, сам процесс обучения в облачных сервисах с использованием графических процессоров стоит до 20 тыс. долл.

Общие параметры различных средств распознания речи приведены на рис. 2.



Источник: BabbleLabs

Рисунок 2. Параметры различных средств распознания речи (команд)


ПРИКЛАДНЫЕ ПРИМЕНЕНИЯ

Появление обширного поколения ультрамалых и недорогих систем еще впереди. Исследователи корпорации Microsoft и Университета штата Мичиган указали, что в перспективе системы TinyML могут быть использованы для обнаружения и лечения полипов у человека. Кроме того, они, по всей видимости, станут неотъемлемой частью Интернета вещей. Для этого потребуется на порядок снизить энергопотребление – ​на десятки нано- и даже микроватт. Это касается, в частности, систем TinyML, работающих на тонкопленочных литий-ионных батареях. Указывается, что к лучшим результатам могут привести нейронные сети, но они предъявляют более высокие требования к вычислительной мощности. Для решения этой задачи потребуется внедрение инноваций в сами схемы, их архитектуры и используемые алгоритмы. По оценкам специалистов Левенского католического университета, потребуются комплексные решения – ​ни одно решение не может быть принято изолированно, потому что нужно смоделировать всю энергетическую систему по отношению к частоте появления ошибок и найти оптимальные подходы. Существует устойчивая потребность в гибких процессорах, способных работать с высокими уровнями параллелизма и иерархиями памяти.


РАБОТА С ДАННЫМИ

По мнению сотрудников Калифорнийского университета в Беркли, проблемы с кристаллами ИС физического уровня и моделями нейронных сетей бледнеют перед проблемами формирования и курирования больших наборов данных, необходимых для глубокого обучения. Действительно, даже незначительные изменения в наборах данных могут существенно снизить точность модели.

Разработчики Qualcomm указывают, что самая большая проблема с данными на сегодня – ​дефицит доступных открытых наборов данных.

Отмечалось и то, что многие потенциальные клиенты интересуются ИИ – ​но, когда узнают, что его использование потребует больших помеченных наборов данных, а также наличия достаточного числа «ученых по данным» (data scientist), их интерес угасает.

Хорошей новостью стало то, что в области систем TinyML возможностей больше, чем проблем. Действительно, благодаря работам в области TinyML появляется возможность сделать ИИ повсеместным, и потенциал такой возможности трудно переоценить.


РАБОТЫ DARPA

На конференции был заслушан доклад о проектах Управления перспективных исследовательских работ МО США (DARPA), ориентированных на крупные проблемы ИИ, такие как создание роев роботов для совместной работы над поставленными задачами или систем ИИ, способных к постоянному обучению. Отмечалось, что, как только будут решены некоторые из подобных крупных проблем, а программное обеспечение придет в соответствие с предъявляемыми к нему требованиями, появится возможность формирования «захватчиков рынка» и изготовления заказных TinyML-систем для них. Если удастся создать нейросетевые модели, работающие с десятками Кбайт памяти, они породят новых «захватчиков рынка», сходных с 4G-смартфонами со встроенными GPS-сервисами.

* * *

По итогам мероприятия было решено провести вторую конференцию сформированного сообщества в 2019 г., обеспечив при этом расширенный круг участников, включая некоторых потенциальных конечных пользователей.


Merritt Rick. TinyML Sees Big Hopes for Small AI. EE Times, March 28, 2019: https://www.eetimes.com/document.asp?doc_id=1334484


ЧИТАЙТЕ ТАКЖЕ

Выпуск 22(6746) от 11 ноября 2021 г. г.
Выпуск 16(6740) от 19 августа 2021 г. г.
Выпуск 13(6737) от 08 июля 2021 г. г.