ВЫБОР РЕДАКЦИИ

Отсутствие эталонных тестов ADAS – проблема автомобильной промышленности

Комплексное автомобильное ПО: стратегия развития

Датчики и вычислительная мощность ADAS: прогнозы и ожидания

Вопросы развития краевых вычислений

Teraki совершает «квантовый скачок» в сфере больших данных

Вопросы развития краевых вычислений

Проблемы использования Wi-Fi в Интернете вещей

Переход от полноразмерных облачных хранилищ к клаудлетам

Вопросы обеспечения безопасности Интернета вещей

Перспективы развития микроконтроллеров с краевым искусственным интеллектом

В Корал-Гейблс запущена платформа Smart City Hub

Проблемы кибербезопасности Интернета вещей

Искусственный интеллект и модели обмена знаниями

Новая политика регулирования Интернета вещей ОАЭ

Состояние и перспективы рынка 300‑мм пластин: прогноз специалистов SEMI

Платформа Microchip Trust призвана упростить аппаратную безопасность Интернета вещей

Высокоэффективные макетные платы для разработки приборов Интернета вещей

Человеко-машинный интерфейс умных домов и краевой искусственный интеллект

Человеко-машинный интерфейс умных домов и краевой искусственный интеллект

Выпуск 17 (6716) от 03 сентября 2020 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

Потребители проявляют большой интерес к приборам, устройствам и средствам, повышающим безопасность и удобство использования электронных систем. Это наглядно проявляется в устройствах человеко-машинного интерфейса, обеспечивающих широкий спектр методов ввода – ​тактильного, голосового, распознавания жестов и видео, а также возможностей технического (машинного) зрения, используемых повсеместно, от торговых терминалов до умных домов. Следующим шагом в этом направлении станут устройства, которые не только понимают прямые команды, но и могут делать выводы о намерениях человека, а затем на их основе предлагать «продуманные» оптимальные решения.


Роль краевого ИИ

Основу создания более сложного, удобного и безопасного Интернета вещей представляют собой средства искусственного интеллекта (ИИ), используемые в краевых вычислениях, или краевой ИИ (edge AI). По определению, краевой ИИ подразумевает, что обработка средствами ИИ выполняется внутри самого конечного продукта (например, телеприставки или интеллектуального дисплея), а не в «облаке». Действительно, в этом случае обеспечивается лучшая конфиденциальность, снижаются требования к пропускной способности (снижается потребляемая мощность и появляется возможность использовать более дешевые и менее сложные компоненты), сокращается время ожидания и даже повышается экологичность, поскольку периферийная обработка сокращает потребление энергии, воды и других ресурсов, требующихся для работы крупных ЦОД.

Сегодня краевой ИИ применяется во многих повседневно используемых приложениях, но его первоначальное применение в основном ограничивалось дорогими продуктами, такими как смартфоны и автомобили. В результате реализации краевого ИИ, ориентированные на эти продукты, также дороги и недоступны для использования в розничных потребительских устройствах умного дома. Кроме того, существующие приложения краевого ИИ весьма ограничены с точки зрения предлагаемого пользовательского опыта – ​например, обзор с поддержкой ИИ в перспективных системах помощи водителю (advanced driver assistance systems, ADAS) или улучшение качества изображения в мобильном телефоне.

Ниже постараемся обозначить веские причины для создания и внедрения решений краевого ИИ для умного дома.


Человеко-машинный интерфейс как движущий фактор развития краевого ИИ для умного дома

Особый интерес к краевому ИИ (как и растущий спектр возможностей его использования) наблюдается в потребительском сегменте Интернета вещей – ​этим термином принято обозначать разнообразные информационно-развлекательные приборы, средства связи, домашней автоматизации и безопасности и многие другие устройства, бытовую технику и гаджеты, на которые все больше полагается человек. В настоящее время потребители хотят иметь возможность подключения к Интернету, но без проблем с затратами, конфиденциальностью и производительностью, присущими традиционным способам подключения Стремление к более всеобъемлющему взаимодействию человека с машиной – ​ключевой фактор, определяющий потребность в краевом ИИ для умного дома. С появлением на рынке соответствующих решений все более широкий спектр продуктов приобретает эксплуатационные характеристики, необходимые для расширения человеческого опыта.

Реальных примеров использования краевого ИИ в умном доме предостаточно. Некоторые имеют очевидную практическую пользу – ​например, камера на двери дома, которая может отличить падение пакета от кражи, или развлекательные устройства, способные автоматически обнаруживать и масштабировать видеопотоки с низким разрешением до более высокого разрешения с превосходным качеством восприятия, что позволяет лучше использовать современные телевизионные дисплеи. Даже привычные (а нынче уже почти повсеместные) приложения для видеоконференций можно улучшить, добавив видео и аудио более высокого качества, и сделать их доступными на недорогих устройствах.

Другие примеры выглядят более футуристично. Холодильник, способный подсказать, что приготовить на ужин, в зависимости от содержимого. Духовка, сообщающая о моменте идеальной готовности блюда. Виртуальный персональный тренер по йоге, напоминающий, что при выполнении данной асаны необходимо выпрямить руки. Совместно работающие устройства домашней автоматизации, преду-гадывающие потребности домовладельца – ​от температуры в помещении до приготовления еды и выбора телепередач для просмотра. Такие решения могут сочетать видеосенсоры, датчики технического зрения и речевые сенсоры с возможностями ИИ-обработки, обеспечивающие расширенную функциональность нового поколения знакомых устройств, таких как интеллектуальные дисплеи и звуковые панели, телевизионные приставки, бытовая техника и камеры видеонаблюдения.

Объединяет все эти приложения потребность в решениях на основе краевого ИИ, специально разработанных для умного дома, а не для смартфонов или автомобилей (рис. 1). Чтобы сделать краевой ИИ еще более демократичным, такие решения должны обладать:



Источник: EE Times

Рисунок 1. Уникальные требования, предъявляемые к краевому ИИ умного дома


возможностью поддерживать многорежимный пользовательский интерфейс с улучшенным ИИ, объединяющий речевые и видеоданные, а также данные систем технического зрения в эффективную систему;

большей доступностью для широкого круга разработчиков и изобретателей ИИ с помощью стандартных инструментов;

возможностью обеспечивать соответствие предлагаемых мер безопасности и конфиденциальности ожиданиям потребителей.


Многорежимность – ​обязательная характеристика ЧМИ умного дома

Решения на основе краевого ИИ для смартфонов и автомобильных приложений в первую очередь ориентированы на сценарии использования систем технического зрения (камеры). Однако в умном доме критическим элементом в улучшении взаимодействия с пользователем в новую эру подключенных устройств становится многорежимный человеко-машинный интерфейс (ЧМИ). К примеру, в телеприставке, как отмечалось ранее, будет задействоваться видеоИИ – ​для улучшения качества изображения. Также потребуется способность речевого ИИ определять по голосу, кто смотрит телевизор, и соответствующим образом настраивать каналы на основе ранее приобретенного опыта (для облегчения выбора любимых шоу и т. д.). Кроме того, может даже потребоваться видео-ИИ со встроенной камерой, обеспечивающей улучшенную и интуитивно понятную видеосвязь для общения с членами семьи в удаленном режиме.

Идеальным решением была бы «система-на-кристалле» (SoC), ориентированная на умный дом, способная поддерживать высокопроизводительную одновременную обработку встроенным ускорителем ИИ видео- и речевых данных, а также данных систем технического зрения. Семейство SoC VS600 фирмы Synaptics – ​пример такого решения. Такой подход не только оптимизирован в соответствии с требованиями к многорежимной производительности ИИ для приложений умного дома, но и интегрирует все эти возможности в одной ИС, делая ИИ доступным для обычных бытовых товаров, продаваемых по ценам потребительского рынка.

Это необходимое решение начинается с SoC-платформы, объединяющей несколько типов процессоров: центральный, нейронный, графический и процессор сигналов изображения, а также подключаемой к высокопроизводительным камерам и дисплеям. Такая архитектура обеспечивает желаемое сочетание высокозащищенного, недорогого вывода данных и многорежимной производительности в реальном масштабе времени. Семейство SoC краевого ИИ фирмы Synaptics – ​это серия SoC, каждая из которых ориентирована на конкретное потребительское приложение. В каждой SoC семейства сочетаются необходимые процессорные ядра и соответствующий уровень производительности интегрированного ИИ для этого приложения.


Полный набор инструментальных средств для облегченной разработки ИИ

Для успешного расширения применения краевого ИИ на большее число приложений критически важен компромисс между стоимостью и производительностью. Кроме того, в высококонкурентном секторе потребительской электроники важны такие факторы, как время выхода на рынок и дифференциация по применениям. Чтобы решить проблемы более широкого распространения краевого ИИ, необходим комплексный подход, включающий в себя использование необходимых инструментальных средств разработки для внедрения инноваций в области ИИ в SoC и краевой ИИ.

Что еще важнее, желаемый набор инструментов должен быть совместим с большим и растущим пользовательским сообществом разработчиков ИИ. К примеру, подобный набор инструментальных средств позволит разработчикам импортировать модели, созданные с помощью стандартных отраслевых платформ, таких как TensorFlow, TensorFlow Lite, Caffe и ONNX (Open Neural Network Exchange – ​открытая библиотека программного обеспечения для построения нейронных сетей глубокого обучения). Так разработчики смогут использовать существующие инновации в области ИИ, применив их к работе над целевой SoC.

Например, модель ИИ, лежащая в основе приложения «личный домашний тренер по йоге», осуществляет оценку положения тела пользователя во время выполнения асаны в поле зрения камеры (рис. 2). Если бы у разработчика ИИ была собственная реализация модели оценки положения тела, созданной на стандартном отраслевом инструментальном средстве, таком как TensorFlow Lite, он бы использовал этот инструментарий, чтобы импортировать модель для использования в желаемой SoC.



Источник: EE Times

Рисунок 2. Искусственный интеллект способен оценивать выполнение асаны человеком и давать рекомендации


При готовности разработчиков набор инструментальных средств должен позволить им оптимизировать параметры модели ИИ для выбранного процессора, на котором она будет работать. Разработчик может остановиться на использовании открытых структур и платформ, таких как TensorFlow или TensorFlow Lite, но задействовать их таким образом, чтобы не упускать из виду возможности целевого процессора. Альтернативой может стать инструментальное средство, специфичное для SoC, например, SyNAP корпорации Synaptics, поддерживающее оптимизацию процессоров в SoC VS600. В рассматриваемом примере разработчик может использовать возможности оптимизации SyNAP, чтобы настроить свою модель оценки положения тела под работу в SoC в реальном масштабе времени со скоростью 30 кадров в секунду (или в ином режиме). Общая блок-схема ускорения и обработки нейронной сети корпорации Synaptics приводится на рис. 3.



Источник: EE Times

Рисунок 3. Обработка и ускорение нейронной сети средствами корпорации Synaptics


Учет ожиданий потребителей в области безопасности и конфиденциальности

Будущее ЧМИ кажется безоблачным, но, возможно, самым большим препятствием для его принятия пользователями станут опасения относительно конфиденциальности и безопасности их данных. В новостях есть множество свежих примеров, подтверждающих обоснованность таких опасений. Любое значимое решение в области ЧМИ должно учитывать этот фактор.

К счастью, сам факт того, что видео и речевые данные, а также данные систем технического зрения будут обрабатываться на периферийном (краевом) устройстве, а не в «облаке», является огромным улучшением с точки зрения конфиденциальности. Например, видеодомофон, оснащенный ИИ, позволяет отказаться от круглосуточной трансляции видео с входной двери в «облако». Передача начинается только тогда, когда происходят определенные события (к двери приближается подозрительный человек и т. п.). А приложение «домашний тренер по йоге» способно полностью работать на периферийном устройстве, вообще не отправляя какие-либо изображения в «облако». Но и в этом случае пользователь может быть обеспокоен тем, что системы умного дома по-прежнему формируют и обрабатывают эти изображения, пусть даже в течение ограниченного времени, – ​ведь некий злоумышленник может попытаться получить эти данные. Вот почему жизненно важно, чтобы идеальное решение искусственного интеллекта, ориентированное на умный дом, также гарантировало безопасное формирование и обработку подобного контента.

Обеспечить это может, например, сочетание определенной архитектуры микросхемы и инструментальных средств, созданных с нуля для безопасной обработки контента (рис. 4). SoC потокового мультимедиа корпорации Synaptics, которые используются в таких продуктах, как телевизионные приставки и электронные защитные ключи, обеспечивают безопасность потокового мультимедийного контента, предоставляемого различными поставщиками, такими как Netflix, Disney и т. п. Кроме того, архитектура подобных SoC позволяет предотвратить попытки перехвата хакерами изображений с камер умного дома (внешних и внутренних).



Источник: EE Times

Рисунок 4. Противодействие удаленным атакам с помощью безопасной обработки данных

* TEE (trusted execution environment) – доверенная среда выполнения, защищенная область главного процессора, обеспечивающая изолированное выполнение команд, программ, приложений и гарантирующая безопасность загруженных в нее кодов и данных с точки зрения конфиденциальности и целостности.


Развитию новой эры устройств Интернета вещей будет способствовать распространение и расширение возможностей «локального интеллекта» – ​краевого ИИ, снижающего необходимость постоянного подключения к «облаку» и связанные с этим риски. Нейронные сети, управляемые ИИ и обрабатываемые на периферийных (краевых) приборах, – ​ключ к скорейшему внедрению систем перцептивного ИИ (интеллекта восприятия). Благодаря возможностям краевых вычислений подобные системы отличаются большей безопасностью и конфиденциальностью, а также меньшим временем ожидания. Высокопроизводительные многопроцессорные SoC, способные поддерживать решения с многорежимными интерфейсами и доступные по ценам потребительского рынка, помогут разработчикам быстро внедрять инновации в области ИИ и дифференцировать свои продукты.

Развитие возможностей машинного использования речевого, видеоконтента и данных систем технического зрения для понимания и прогнозирования поведения человека обещает произвести настоящую революцию в сфере Интернета вещей, благодаря чему станет возможно обеспечить беспрецедентный уровень безопасности, удобства и производительности повседневной жизни.


Ganju Vineet. Edge AI Solutions for Smart Homes Can Transform HMI. EE Times magazine, July 30, 2020: https://www.eetimes.com/edge-ai-solutions-for-smart-homes-can-transform-hmi/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 22(6746) от 11 ноября 2021 г. г.
Выпуск 21(6745) от 28 октября 2021 г. г.