За последние несколько лет появилось большое число стартапов, специализирующихся на искусственном интеллекте (ИИ). Многие из них ориентированы на автомобильный рынок. Поставщики комплектного оборудования (OEM) и поставщики первого уровня стремятся разрабатывать собственные ИС искусственного интеллекта – ​во многом по аналогии с инновационной разработкой корпорацией Tesla собственных полностью автономных компьютерных (FSD) ИС. Если это станет тенденцией, что будут делать лицензиары IP-ядер, такие как корпорация Ceva? На выставке AutoSens представители Ceva сообщили о своих разработках и дальнейших планах в области автомобильного рынка.

Прежде всего компания должна повысить производительность своих лицензируемых IP-ядер, разработанных для архитектуры ИИ. Кроме того, ей необходимо сделать свои ядра нейронных сетей еще более привлекательными для разработчиков «систем-на-кристалле» (SoC). Возможно, разработчикам SoC важно убедиться, что IP-ядра Ceva не устарели и не подлежат обязательной замене на новые процессоры ИИ, разработанные стартапами или автопроизводителями. Ceva решила взять ситуацию под контроль и подготовила две презентации, демонстрирующие, что фирма по-прежнему занимает передовые позиции.

На выставке AutoSens, проходившей в Брюсселе с 17 по 19 сентября 2019 г., Ceva представила архитектуру новейшего ИИ второго поколения для глубокой нейронной сети. Новая архитектура ИИ, названная NeuPro-S, включает в себя ряд системных усовершенствований. Параллельно был представлен интерфейс прикладного программирования CDNN (Ceva Deep Neural Network) Invite(рис. 1). Это технология компиляции глубоких нейронных сетей, предназначенная для поддержки не только собственных ядер Ceva (NevaPro), но и сторонних движков нейронных сетей в единой унифицированной архитектуре нейронной сети.

Источник: Ceva

Рисунок 1. Концепция CDNN Invite на основе глубокой нейронной сети

Поскольку нейронные сети продолжают развиваться, представители Ceva считают, что производители автомобилей и поставщики первого уровня хотят видеть гибкую архитектуру ИИ, позволяющую в особых случаях использовать сторонние решения нейронных сетей, дополняющие ядра NeuPro, в единой структуре.

Аналитики Linley Group охарактеризовали CDNN-Invite как интерфейс, позволяющий интегрировать ускоритель ИИ клиента в один и тот же вычислительный граф вместе с NeuPro, с тем чтобы они могли работать на одном хост-контроллере. Предполагается, что преимущество архитектуры и интерфейса Ceva – ​в их способности создавать новые системы на уже устоявшихся платформах.

Корпорация Ceva считает, что CDNN-Invite создаст столь необходимую «открытую среду» для архитектуры ИИ, в отличие от полностью закрытой архитектуры Nvidia. Однако, если использовать графический процессор Nvidia в качестве ускорителя в гетерогенной системе, программная среда становится полностью открытой для подключения других приборов. Например, в системе Audi zFAS используются процессоры EyeQ и Tegra от Nvidia.

Разница с интерфейсом прикладного программирования CDNN-Invite заключается в том, что последний позволяет другим движкам нейронных сетей работать на одном кристалле с NeuPro. Ceva облегчает процесс расширения своего сетевого протокола для клиентов, которые уже его используют, позволяя встраивать в единый механизм нейронной сети ускорители сторонних поставщиков.

NeuPro-S

NeuPro-S состоит из движка NeuPro-S и полностью программируемого векторного ЦОС-процессора Ceva-XM (рис. 2). Достоинство NeuPro-S заключается в том, что полностью программируемый процессор цифровых сигналов систем визуализации CEVA-XM6, включенный в архитектуру NeuPro-S, облегчает одновременную обработку изображений, функции компьютерного зрения и общие рабочие нагрузки ЦОС-процессора в дополнение к формированию выводов ИИ.

Источник: Ceva

Рисунок 2. NeuPro-S, одноядерная системная диаграмма

* Одновременная локализация и отображение CEVA.

** Стандартная библиотека функций на базе OpenCV для обработки зрения, полностью оптимизированная для семейства CEVA-XM и NeuPro.

*** Пакет ПО CEVA-VX для широкоугольной визуализации.

**** Открытая программная библиотека для машинного обучения Tensor-Flow, платформа глубокого обучения с открытым исходным кодом Caffe.

***** Открытая библиотека ПО для построения нейронных сетей глубокого обучения (Open Neural Network Exchange).

****** IP-процессор обработки изображений и компьютерного зрения пятого поколения от Ceva, обеспечивающий возможности глубокого обучения и ИИ для встраиваемых систем с низким энергопотреблением, предназначенных для интеллектуальных приложений на массовом рынке.

******* Уплотнение (мультиплексирование) с разделением сигналов по длинам волн (wavelength-division-multiplexing).

******** Технология ввода–вывода данных через интерфейс ДОЗУ с удвоенной скоростью (double data rate).

По мере того как увлечение нейронными сетями растет, становится понятно, что не все задачи по визуализации должны быть оставлены на усмотрение ИИ. Например, такие задачи обработки изображений, как широкоугольная визуализация и SLAM (одновременная локализация и отображение), лучше выполняются с помощью традиционных алгоритмов компьютерного зрения. После очистки изображений они передаются в движок ИИ. ИИ также лучше подходит для выполнения таких функций, как сегментация, обнаружение и классификация объектов.

Но самые большие улучшения в NeuPro-S связаны с его оптимизированной конструкцией памяти. Расширяя поддержку многоуровневых систем памяти, NeuPro-S сокращает число и объем дорогостоящих передач с внешним синхронным ДОЗУ (СДОЗУ), в то же время предоставляя несколько вариантов снижения объема памяти, выделяемой виртуальной машине при запуске ОС. В частности, снижение объема памяти достигается путем переобучения и сжатия через CDNN (автономно) и декомпрессии через механизм NeuPro-S (в масштабе реального времени). Кроме того, благодаря беспрепятственному использованию кэш-памяти второго уровня (L2) улучшается внутренняя память. Также имеется надежный прямой доступ к памяти и локальной системе памяти, что оптимизирует параллельную обработку. Это означает, что NeuPro-S не получает питание от основного процессора.

Все эти решения по оптимизации памяти обеспечивают, по мнению экспертов, в среднем на 50% более высокую производительность и на 30% более низкое энергопотребление по сравнению с процессором ИИ первого поколения CEVA.

В чем выгода интерфейса прикладного программирования CDNN-Invite?

Остается неясным, кто именно среди автопроизводителей разрабатывает свои собственные робокары или «системы-на-кристалле» для перспективных систем помощи водителю (ADAS).

Блок-схемы SoC для автономных транспортных средств разрабатываются каждым крупным производителем автомобилей. Корпорация Tesla не одинока, каждый автопроизводитель хочет контролировать свою судьбу. Возможно, эти автопроизводители просто наращивают свои внутренние знания о SoC для автономного транспорта. Такие работы могли бы помочь им лучше судить о том, какие SoC для автономных транспортных средств следует использовать в будущем. Однако представители Linley Group заявили, что не знают о других автопроизводителях, разрабатывающих собственные автомобильные ИС с ИИ. В то же время у поставщиков более низкого уровня, таких как производители датчиков, это довольно распространенная тенденция – ​возьмем, к примеру, фирму Ambarella, создающую собственные ИИ-ИС для камер ADAS.

В Ceva ясно дают понять, что видят растущее разнообразие нейронных сетей и процессоров для конкретных приложений, часть из которых разрабатывается автопроизводителями. По словам представителей компании, необходимость применения сторонних ИС для нейронных сетей побудила Ceva разработать интерфейс прикладного программирования CDNN-Invite (рис. 3).

Источник: Ceva

Рисунок 3. Примеры архитектуры CDNN

Признавая роль растущего сообщества новаторов в нейронных сетях, представители Ceva заявили, что цель интерфейса прикладного программирования CDNN-Invite состоит в том, чтобы сторонние процессоры нейронных сетей получали пользу от использования надежных и простых технологий компилятора CDNN.

Существует тенденция к созданию более уникальных ИИ-движков, но это характерно скорее для процессоров смартфонов, чем для автомобилей. Так, корпорации Apple, Huawei, Qualcomm, MediaTek и Samsung создали собственные ускорители, которые при этом не связаны с чем-то другим, представляя собой законченные архитектурные проекты. Huawei и MediaTek уже объединяют свои ускорители с ядрами Cadence Vision на одной ИС, поэтому в том, что касается рынка интеллектуальных процессоров для смартфонов, у разработки IP-ядер Ceva для ИИ вряд ли есть перспектива. Если у компаний – ​производителей интеллектуальных процессоров для смартфонов есть собственный движок, они не нуждаются в лицензировании СФ-ядер и СФ-блоков сторонней фирмы.

Таблица

NeuPro-S, опции процессора ИИ

Ceva, однако, ожидает, что ее клиенты воспользуются возможностью масштабировать производительность, которую предлагает NeuPro-S для работы на более широких конечных рынках – ​от смартфонов, ADAS, промышленных применений, гарнитур дополненной и виртуальной реальности до систем видеонаблюдения, роботов, БПЛА и систем автономного вождения (рис. 4).

Доступность

Представители Ceva отметили, что NeuPro-S уже доступен и лицензирован ее ведущими клиентами в области автомобильных и потребительских камер. CDNN-Invite, как ожидается, станет доступен для ведущих клиентов и для общего лицензирования к концу 2019 г.

Yoshida Junko. Ceva Goes Automotive with New AI Core & ‘Invite’ API. EE Times magazine, September 17, 2019: https://www.eetimes.com/document.asp?doc_id=1335109&page_number=1