Работы в области краевого (пограничного) искусственного интеллекта

Работы в области краевого (пограничного) искусственного интеллекта

Выпуск 15(6689) от 01 августа 2019 г.
РУБРИКА: ПРОРЫВНЫЕ ТЕХНОЛОГИИ МИКРО И РАДИОЭЛЕКТРОНИКИ

В Гренобле (Франция) прошли Дни инноваций CEA-Leti. В ходе мероприятия обсуждались два направления, возникшие в области искусственного интеллекта (ИИ). Европа сосредотачивается на «краевом ИИ», в то время как КНР и США агрессивно развивают направление «облачного ИИ». В то же время американские и китайские фирмы также работают в области краевого ИИ – например, Texas Instruments.

И США, и КНР собирают огромные объемы данных, которые затем используются для обучения средств ИИ. Это стало основанием для заявлений о том, что именно эти две страны возглавляют мировую гонку в сфере ИИ. Жесткие правила о соблюдении конфиденциальности данных, действующие в Европе, не позволяют местным фирмам раскрывать используемые для обучения средств искусственного интеллекта объемы данных. Формально эти правила не дают европейцам говорить об их истинном месте в гонке ИИ, но на деле говорить об отставании вряд ли можно. Стремление соответствовать упомянутым правилам вынуждает европейские фирмы идти своим путем – если обучение средств ИИ, связанное с облачными вычислениями, стало общей тенденцией, то Европа видит свою роль в дальнейшем развитии обучения и персонализации в рамках концепции краевого (пограничного) ИИ.


Отстает ли Европа в области искусственного интеллекта?

Действительно ли Европа отстает в области искусственного интеллекта? Не очевидно. Начнем с того, что с общемировой точки зрения исследования в этой сфере только-только выходят за пределы начальных этапов работ. Правда, многие фирмы утверждают, что они уже оснащают свои смартфоны ИИ-ускорителями, называя их «краевым ИИ». Но это совсем не тот уровень, на котором работают специалисты CEA-Leti. Их представления, особенно о перспективных технологиях, выходят далеко за рамки современной практики краевого ИИ.

Краевой интеллект – это огромная проблема, связанная с краевыми вычислениями, которую Европе предстоит решить, учитывая, что правила конфиденциальности данных никогда не делись и не денутся.

По определению, решение крупных задач требует инноваций. Исследователи CEA-Leti представили 10-летнюю маршрутную карту развития краевого ИИ. Предполагается использовать широкий диапазон технологий – от 3D-этажирования до «вычислений в памяти» и внутрикристальной интеграции резистивной энергонезависимой памяти. Прогресс в этих областях позволит снизить удельные затраты энергии (на одну операцию).

Ключ к экономии потребляемой энергии в краевых вычислениях – отказ от перемещения данных из внешнего блока памяти в ИИ-процессор. Каждый раз, когда происходит такое перемещение, происходит пичковое повышение потребляемой мощности краевыми средствами ИИ примерно в 100–1000 раз.

Параллельно крайне важно сократить число краевых ИИ-операций. С этой целью CEA-Leti изучает нейроморфный подход к обработке данных и пичковое кодирование для обработки входных сигналов датчиков глубокой нейронной сетью.


10 TOPS на ватт

Цель исследований CEA-Leti в области краевого ИИ – разработать в течение ближайших пяти лет процессор краевого ИИ, работающий со скоростью 10 Т (т. е. 10⋅1012) операций в секунду (TOPS) на ватт. Реализация этой цели потребует объединения новой архитектуры памяти, пичковых алгоритмов и матриц датчиков. В случае достижения поставленной цели появится резкий контраст с современными графическими процессорами, работающими с быстродействием 1 TOPS на 200 Вт.

Конфиденциальность данных создала для европейских НИОКР уникальную возможность. Она создает трудности для исследователей, но также заставляет решать проблемы «в лоб». Это трудный процесс, о котором остальной мир едва задумывается. Остается подождать и посмотреть, позволит ли краевой ИИ выиграть мировую гонку в области искусственного интеллекта. По крайней мере это цель, благодаря которой Европа может отличить свои работы в области ИИ от исследований ИИ в остальных странах мира.


ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ без аппаратного обеспечения?

CEA-Leti считает своим огромным активом 50-летнюю историю проведения углубленных НИОКР в области производства и тестирования микроэлектроники.

Исследования в области ИИ в Кремниевой долине обернулись огромной выгодой от алгоритмов, разработанных на основе технологических платформ таких корпораций, как Amazon, Facebook, Google и Microsoft. Эти интернет-гиганты добились значительных успехов в области ИИ без больших капитальных затрат, так как разработанный ими ИИ управляется алгоритмами программного обеспечения ИИ. Однако европейские специалисты подчеркнули, что «ИИ без аппаратного обеспечения» в конечном счете будет подрывать потенциал ИИ в целом. Европейские исследователи также осознают, что чрезмерная шумиха вокруг ИИ среди инвесторов, СМИ и общественности может в очередной раз «заморозить» технологию из-за несбывшихся ожиданий. Долгая история развития ИИ насчитывает не один «зимний цикл», и очередная «глубокая заморозка» после нынешнего ажиотажа вполне возможна. Тем не менее, по мнению экспертов CEA-Leti, ИИ в целом должен стоять на двух столпах: «краевом ИИ» и «доверенном ИИ». Под доверенным ИИ имеется в виду искусственный интеллект, «уважающий» частную жизнь, способный объясниться, ответственный и надежный.


Примеры совместных работ

Уверенность ИИ в собственных решениях имеет большое значение, когда он используется в жизненно важных системах, будь то автономное транспортное средство, автомобиль, самолет или медицинский прибор.

Хороший пример здесь – стартап Diabeloop, работающий в партнерстве с CEA-Leti. Фирма разработала систему управления терапией диабета первого типа, уже одобренную регулирующими органами Германии и Франции. Система контролирует уровень сахара в крови пациента и воспроизводит функцию поджелудочной железы. Поскольку диабетики ведут различный образ жизни, их потребности в дозировке инъекций также различны. Соответственно, важно, чтобы ИИ «локально изучал» потребности пациента и «персонализировал» систему в целом. Система компании Diabeloop – первый автономный медицинский прибор, принимающий решения. В случае отклонения решения ИИ от прогнозов на 40% и более система отключается – т. е. инсулин не будет вводиться автоматически. Другими словами, прибор управляется двумя системами – автономной системой локального обучения и детерминированной системой для предотвращения неправильной дозировки инсулина прибором, управляемым ИИ.

Еще один пример – сотрудничество CEA-Leti со Стэнфордским университетом (США). Одним из результатов этого сотрудничества стала разработка первой в мире резистивной ОЗУ (RRAM) с кремниевыми вычислительными блоками. Эта энергонезависимая ИС ЗУ реализована по многоуровневой технологии (т. е. в каждой ячейке памяти хранится не один, а несколько бит). По сравнению с существующими аналогичными RRAM емкость нового прибора в 2–3 раза выше. В число возможных применений входят поддержка ИИ в Интернете вещей или «краевой ИИ».


ИИ нуждается в официальной сертификации

Факторы, делающие системы ИИ «менее надежными» и «несправедливыми», – это неполные наборы данных, часто используемые для обучения систем ИИ. Заявлений поставщиков о том, что они сделали все возможное для обеспечения надежности предлагаемой системы ИИ, недостаточно. В отличие от смартфонов, которые могут пару раз и не среагировать на полученную от датчиков информацию, жизненно важные системы ИИ должны разрабатываться на основе «этических и правовых рамок ИИ». Кроме того, они должны быть официально сертифицированы [1].


Пять проектов в области ИИ, представленных на Днях инноваций CEA-Leti

На своем мероприятии CEA-Leti, чьи исследования сосредоточены не только на микроэлектронике и искусственном интеллекте, но и на здравоохранении и энергетике, представила ряд исследовательских проектов. Эти проекты реализуются как собственно CEA-Leti и работающими с ней стартапами, так и стартапами, уже ставшими самостоятельными предприятиями.

Наибольшее внимание привлекли пять проектов:

Apneaband, носимое устройство, предупреждающее об удушье во время сна;

Spirit, нейронные сети, работающие в пичковом режиме и обеспечивающие вычисления с массовым параллелизмом, низкой потребляемой мощностью и малым временем ожидания;

Bacram, безобъективное средство формирования изображений, предназначенное для быстрого выявления угроз биологического терроризма;

Dneuro, автономная высокопроизводительная глубокая нейронная сеть на основе вентильной матрицы, программируемой пользователем (FPGA);

Worms, средства расширения тактильного взаимодействия с повседневными объектами.

Apneaband

Беспроводной браслет Apneaband способен точно фиксировать внезапную остановку дыхания во сне (апноэ) в реальном масштабе времени и позволяет отказаться от посещения больницы для проведения ночных тестов. Апноэ – это патологический процесс, приводящий к неоднократной остановке дыхания во время сна, что может повлиять на приток кислорода в мозг и другие части тела. В браслет Apneaband встроены датчики отслеживания частоты сердечных сокращений, изменения частоты сердечных сокращений (HRV), уровня насыщенности тканей кислородом и биоэлектрического импеданса. Современная методика обработки сигнала позволяет эффективно извлекать и локализовывать параметры состояния человека. Прибор использует базу данных, созданную экспертами по респираторным расстройствам сна.

Аппаратное и программное обеспечение прибора создано специалистами CEA-Leti. В работе над браслетом также принимали участие специалисты Европейского института инноваций и технологий, госпиталя Гренобля. Работа осуществлялась при поддержке ЕС.

Spirit

Одной из главных тем Дней инноваций CEA-Leti стали вычисления и обработка «в памяти», облегчающие реализацию краевого ИИ. Демонстрацией этой технологии стал кристалл Spirit, позволяющий классифицировать рукописные цифры, нарисованные на сенсорном экране, в реальном масштабе времени.

Утверждается, что Spirit – первая интегрированная внутрикристальная нейронная сеть, обеспечивающая коинтеграцию в одном и том же кристалле аналоговых пичковых нейронов и резистивных синапсов, использующих ячейки RRAM. В нем применяется кодирование пичков изображением 12×12 – чем чернее пиксель, тем больше будет пичков. Как следствие, рассеяние мощности будет значительно меньшим, чем в варианте с внeкристальным расположением памяти. По утверждению специалистов CEA-Leti, энергия обычно составляет 3,6 пДж на одно синаптическое событие.

Демонстрация проекта – только первый этап. CEA-Leti планирует создать опытные образцы прибора в 2021 г. Следующим шагом станет сопряжение ускорителей с событийно-ориентированными видеодатчиками и лидарами для обеспечения оценки положения, одновременной локализации и построения карты (SLAM), а также классификации объектов.

Bacram

Инструментальное средство Bacram, созданное разработчиками CEA-Leti, способно идентифицировать опасные микроорганизмы менее чем за 15 минут. Портативный прибор оснащен безобъективным КМОП-формирователем сигналов изображения и анализатором на основе Рамановской спектроскопии (спектроскопия комбинационного рассеяния). Прибор пригоден для развертывания в районах, требующих выявления рисков с точки зрения биологических, радиологических, химических и ядерных угроз (т. е. может использоваться как детектор применения оружия массового уничтожения). Один из таких приборов использовался при проведении чемпионата Европы по футболу во Франции в 2016 г.

Безобъективный формирователь сигналов изображения используется для обнаружения вредоносных объектов широкопольным сканированием, а темнопольная микроскопия (микроскопия по методу темного поля) позволяет рассматривать единичные бактериальные клетки. Инструментальное средство оснащено базой данных спектральных «отпечатков» большинства известных бактерий, полученных при помощи Рамановской спектроскопии. В свою очередь, эта база данных совмещена с программным обеспечением, способным определить и визуализировать неизвестные спектры, что помогает в идентификации бактерий.

Dneuro

Dneuro представляет собой полностью независимую аппаратную библиотеку уровня регистровых передач (RTL), предназначенную для интеграции автономных глубоких нейронных сетей на FPGA. Средство создано на платформе N2D2 с открытым исходным кодом для приложений глубокого обучения.

Платформа N2D2 обеспечивает автоматическую генерацию кода в различных программных модулях для различных аппаратных целей: центральных процессоров, графических процессоров, FPGA или «систем-на-кристалле» (SoC).

Сфера применения Dneuro включает в себя контроль качества на производстве и автономные транспортные средства.

Worms

Датчик Worms только что разработан специалистами CEA-Leti. Утверждается, что это уникальный пьезоэлектрический датчик с «прорывной» чувствительностью и способностью установления различий, что позволяет добавить повседневным объектам тактильное восприятие.

Датчики Worms адаптируются к различным конфигурациям независимо от принимающего материала (пластик, металл, стекло или дерево), его толщины и формы. Эта запатентованная технология предусматривает автономное питание. Возможные области применения включают автомобили, умные дома, мобильную технику, робототехнику, спорт и здравоохранение [2].


Работы корпорации Texas Instruments в области краевого ИСКУССТВЕННОГО ИНТЕЛЛЕКТА

Утверждение CEA-Leti о том, что КНР и США сосредоточились на облачном ИИ, не совсем корректны. Хотя корпорация Texas Instruments (г. Даллас, шт. Техас, США) не участвовала в Днях инноваций CEA-Leti, ее работы в области краевого ИИ заслуживают внимания.

Машинное обучение стало популярным для решения задач технического зрения и других встроенных вычислений. В то время как классические алгоритмы машинного обучения требуют вмешательства человека для извлечения из данных характерных признаков, алгоритмы машинного обучения или сетевые модели учатся извлекать важные характерные признаки из данных и делать интеллектуальные прогнозы относительно этих данных самостоятельно.

Технология машинного обучения способна расширить интеллектуальные возможности различных устройств. В умных бытовых устройствах (например, в умной печи) машинное обучение может использоваться для классификации продуктов и соответственной установки времени и температуры приготовления. На заводах – для обнаружения дефектов изготовления или для технического обслуживания по текущему состоянию (основанному на прогнозировании запаса надежности), с тем чтобы помочь предсказать оставшийся срок службы установки или обнаружить аномалии в ее работе. В транспортных средствах машинное обучение можно применять для обнаружения на дороге других автомобилей, пешеходов, дорожных знаков и т. д. Его также можно использовать в приборах, осуществляющих перевод естественного языка.

Существуют две основные части машинного обучения: собственно обучение и формирование логического вывода (рис. 1).



Источник: EE Times

Рисунок 1. Технологический процесс разработки приложения машинного обучения


Первая часть – это этап обучения алгоритма. Цель обучения сетевой модели состоит в том, чтобы заставить модель изучать наилучшие возможные значения параметров для предсказуемого решения данной проблемы. Существует два способа обучения модели машинного обучения – контролируемое и неконтролируемое обучение.

В методе контролируемого обучения модель учится сопоставлять входные и выходные данные на основе нескольких примеров обучающей пары «входные данные – выходные данные». При этом данные, используемые для обучения алгоритма, уже помечены правильными ответами, а возможные выходные данные известны. На рис. 2 показан процесс разработки модели контролируемого обучения, где модель пытается научиться классифицировать изображение как собаку или кошку. Он включает в себя помеченный набор данных обучения, алгоритм прямого прохода, вычисления ошибок и алгоритм обратного прохода.



Источник: EE Times

Рисунок 2. Контролируемое обучение


Алгоритм прямого прохода включает в себя извлечение из входных данных характеристик признаков и прогнозирование информации. В методе контролируемого обучения прогнозы сравниваются с фактической информацией, на основе чего вычисляется ошибка. Предсказания параметров сети корректируются на основе ошибки предсказания с тем, чтобы на следующей итерации предсказание оказалось более точным. В этом процессе задействовано от нескольких тысяч до миллионов входящих изображений кошек и собак, и процесс будет повторяться миллионы раз – пока параметры сети не будут настроены достаточно хорошо для того, чтобы делать точный прогноз по большинству данных, на которых сеть обучается.

Обучение моделей машинного обучения требует больших затрат вычислительных ресурсов. Зачастую эти модели работают на настольных ПК или в «облаке» с использованием мощных графических процессоров и FPGA.

После того как модель обучена прогнозировать информацию, значения параметров замораживаются и развертываются в область формирования логических выводов по любым новым данным, которые она получает. Это вторая часть машинного обучения: формулирование вывода. На этапе вывода выполняется только алгоритм прямого прохождения, извлекающий важные характерные признаки и прогнозирующий информацию.

Формулирование вывода машинного обучения в рамках краевого ИИ (рис. 3) с использованием встроенного процессора становится довольно популярным по сравнению с осуществлением вывода в рамках облачного ИИ (рис. 4) из-за присущих ему преимуществ в предсказуемости, конфиденциальности, пропускной способности сети, времени ожидания и потребляемой мощности.



Источник: EE Times

Рисунок 3. Формирование логического вывода в краевом ИИ


Во встроенной системе формулирование выводов может выполняться различными блоками внутрикристальной обработки наподобие центральных процессоров, графических процессоров, ЦОС-процессоров, FPGA-логики, специализированных ускорителей или любым сочетанием этих вариантов. Возможности формулирования вывода машинного обучения обычно осуществляется с быстродействием в несколько мега-, гига- или тера-операций в секунду (MOPS, GOPS или TOPS).



Источник: EE Times

 Рисунок 4. Формирование логического вывода в облачном ИИ


Выбор встраиваемого процессора для формулирования вывода машинного обучения в краевом искусственном интеллекте

Наличие в настоящее время различных вариантов может затруднить правильный выбор прибора или сочетания приборов для формулирования выводов. Успех графических процессоров на обу­чающей стороне нейросетевых моделей может сформировать неправильное представление о том, что эти приборы – лучший выбор для формулирования вывода. Существует тенденция сравнивать производительность какого-либо данного прибора с производительностью графических процессоров, обладающих быстродействием в несколько TOPS. Однако быстродействие на таком уровне – не единственный параметр, который следует рассматривать.

Во-первых, приведенные параметры TOPS – теоретические. Для многих приборов доступ к памяти и инфраструктура шины данных не масштабируются до возможностей ядра или подсистемы. Таким образом, фактически достигаемая в системе пропускная способность может быть намного ниже, чем теоретически указано. Более значимым параметром представляется реально достижимая пропускная способность, которая может достигать 20% от теоретической вычислительной мощности. Одни приборы могут плохо работать в различных сетевых моделях, в то время как пропускная способность других зависит от разрешения, размера пакета и т. д. Пакетная обработка может применяться в облачной среде или при обучении, но многие встроенные приложения характеризуются временем ожидания, не допускающим пакетной обработки кадров входного видео. Таким образом, при сопоставлении значений TOPS необходимо сравнивать достигаемую пропускную способность в TOPS для каждого конкретного применения.

Во-вторых, не все модели машинного обучения нуждаются в обработке с пропускной способностью несколько TOPS. Многим приложениям вполне достаточно меньших значений – MOPS или GOPS. Первый важный шаг при выборе процессора для краевого машинного обучения – понимание того, какие значения производительности, времени ожидания и точности необходимы для данного приложения.

Популярные модели сверточной нейронной сети (convolution neural network, CNN), такие как GoogLeNet/InceptionNet, ResNet, ResNext и DenseNet, были разработаны для использования в настольных ПК или в «облаке». Для их использования по принципу «как есть» во встроенных процессорах могут потребоваться высокие показатели GOPS/TOPS, что, в свою очередь, увеличивает стоимость системы и поднимает требования к потребляемой мощности – разумеется, если не будет тщательно подобран процессор, специфичный для данного приложения.

Методы сетевого моделирования машинного обучения со временем эволюционировали, благодаря чему они теперь могут использоваться во встраиваемых процессорах. Возможность существенного (на порядки) снижения требований к производительности с незначительным воздействием на точность продемонстрировали такие методики, как эффективная конфигурация сети, сокращение избыточных нейронов в скрытых слоях, разреженность и квантование с фиксированной точкой (запятой).

Например, задачи классификации объекта на основе CNN размером 224×224 пиксела с 1,0 тыс. классов обнаружения из базы данных ImageNet могут требовать пропускной способности более 1 GOPS для одиночного изображения на невстроенных дружественных сетевых моделях. При использовании методов, дружественных встроенному процессору, число операций может быть сокращено до <200 MOPS с минимальным снижением точности. Если точность приемлема, то при использовании дружественной сетевой модели для классификации 30 изображений в секунду потребуется пропускная способность порядка 6 GOPS. При использовании других (невстроенных) вариантов этот показатель составит более 30 GOPS. В этом случае устройство с производительностью 6 GOPS будет вполне достаточным.

В-третьих, к факторам, которые следует учитывать, можно отнести системную интеграцию, эксплуатационные характеристики прибора и его долговременную доступность на рынке. В целях снижения общей стоимости целесообразно искать прибор, интегрирующий периферийные устройства, и интерфейсы, необходимые данному приложению. Например, если имеется в виду промышленное приложение на основе технического зрения для интеллектуального завода, которое должно взаимодействовать с другими системами по протоколу промышленного Ethernet или другим протоколам, наиболее эффективным решением может стать интегрированная SoC. Лучшим выбором системного уровня может оказаться прибор, подобный процессору TI Sitara AM57x. Этот прибор обеспечивает специфичную для требований данного приложения производительность за счет интеграции необходимых периферийных интерфейсов, поддержки соответствующих промышленных протоколов и соответствия требованиям полупроводниковой промышленности наряду с возможностью долгосрочной поддержки.

И последнее, но не менее важное. Необходимо учитывать стоимость программного обеспечения. Поставщик, способный предоставить зрелый комплект разработки программного обеспечения в сочетании с адекватной инженерно-технической помощью, может помочь снизить риски и затраты на разработку, обеспечить создание более качественных продуктов, которые будут своевременно выведены на рынок [3].


1. Yoshida Junko. Data Privacy Splits Global AI Race. EE Times, June 29, 2019: https://www.eetimes.com/document.asp?doc_id=1334876 

2. Dahad Nitin. 5 Edge AI Projects Spotted at CEA-Leti Event. EE Times, June 29, 2019: https://www.eetimes.com/document.asp?doc_id=1334877 

3. Agrawal Manisha. Choosing a Processor for Machine Learning at the Edge. EE Times, June 23, 2019: https://www.eetimes.com/author.asp?section_id=36&amp;doc_id=1334844


ЧИТАЙТЕ ТАКЖЕ