ВЫБОР РЕДАКЦИИ

Автономные транспортные средства в условиях пандемии

«Преувеличенная автоматизация» и реальные проблемы автономных транспортных средств

Отсутствие эталонных тестов ADAS – проблема автомобильной промышленности

Пандемия COVID‑19: цифровая трансформация и цепочки поставок Министерства обороны США

О важности понимания всех аспектов проектирования

Руководство электронных фирм – о перспективах 2020 г.: опрос журнала Semiconductor Engineering

Развитие сектора информационных систем краевого искусственного интеллекта

Вопросы обеспечения безопасности Интернета вещей

Работы корпорации OmniVision в области автомобильной безопасности

Проблемы безопасности вычислений и связи

Комплексное автомобильное ПО: стратегия развития

Проблемы разработки систем DMS

Arm v9 – новая архитектура фирмы ARM

Новая система электронной кожи Мюнхенского технического университета

УЗ-датчики контроля социального дистанцирования от Chirp Microsystems

Рынок электронной кожи – перспективы развития

FlexTech запустила шесть проектов в области гибкой гибридной электроники

Фотонное медицинское устройство Федеральной политехнической школы Лозанны

Решение компании Nanusens устраняет узкие места в производстве MEMS

Завершение программы N-ZERO

В сфере O-S-D намечается стабилизация после COVID‑19

Высокоэффективные макетные платы для разработки приборов Интернета вещей

Структура продаж оптоэлектроники, датчиков и дискретных полупроводниковых приборов

Датчики и вычислительная мощность ADAS: прогнозы и ожидания

Обзор ключевых компаний в сфере платформ автономных транспортных средств

Итоги выставки AutoSens‑2019

Итоги выставки AutoSens‑2019

Выпуск 21 (6695) от 24 октября 2019 г.
РУБРИКА: АВТОМОБИЛЬНАЯ ЭЛЕКТРОНИКА

На недавно прошедшей в Брюсселе выставке AutoSens 2019 выяснилось, что в области средств автомобильной сенсорной техники нет недостатка в инновационных решениях. Разработчики автомобильных технологий, поставщики первого уровня и поставщики комплектного оборудования (OEM) охотятся за средствами «надежного восприятия», которые могут работать в любых дорожных условиях, включая ночь, туман, дождь, снег, наледь, нефтяную пленку и т. д. Единственного решения данной проблемы не существует, однако многие компании активно разрабатывают свои новые технологии восприятия и концепции соответствующих средств.

Основное внимание на выставке уделялось в большей степени перспективным системам помощи водителю (ADAS), а не собственно автономным транспортным средствам (AV). Очевидно, что сообщество разработчиков в целом признает существование разрыва между сегодняшними возможностями и перспективами запуска коммерческих автономных транспортных средств, управляемых искусственным интеллектом без участия людей-водителей.

Речь не идет о том, что самоуправляемые автомобили невозможны. Тем не менее предсказывается, что четвертый уровень автономных транспортных средств будет развернут в очень ограниченной области проектирования систем на уровне операций (operational design domain, ODD) при тщательном учете требований безопасности. Под ODD имеются в виду конкретные дорога, полоса движения, часы работы, погодные условия, время суток, точки посадки и высадки и т. д. На вопрос о том, достигнет ли автомобиль, управляемый ИИ, интуитивности, присущей людям – ​то есть понимания контекста управления и того, что он действительно управляет транспортным средством, – ​отраслевые специалисты отвечают, что это произойдет как минимум лет через 10, а скорее всего – ​в пределах 20–30 лет.

Главная на данный момент задача, занимающая разработчиков ADAS и высокоавтоматизированных автомобилей, заключается в выборе оптимального оснащения автомобилей средствами восприятия окружающей обстановки (компьютерное зрение, радары и т. д.). Восприятие, т. е. «знание» того, где находятся и куда перемещаются объекты в окружающей среде, – ​основа каждого высокоавтоматизированного транспортного средства. Там, где автономные транспортные средства слабы по сравнению с водителем-человеком, важна возможность оценить ситуацию и предсказать, куда воспринимаемый объект будет перемещаться дальше.


Интеллектуальность выходит на первый план

На выставке-конференции AutoSens проявилась новая тенденция – ​наращивание интеллектуальности непосредственно первичных средств сбора данных. Многие поставщики добиваются этого за счет слияния разных датчиков и сенсорных данных. Среди подобных слияний и сочетаний наиболее популярны сегодня следующие:

RGB-камеры + датчики ближней ИК-области спектра (RGB+NIR);

RGB-камеры + датчики коротковолновой ИК-области спектра (RGB+SWIR);

RGB-камеры + лидары;

RGB-камеры + радары.

Подходы основных игроков отличаются друг от друга. Одни, как было сказано выше, предпочитают строить комбинации датчиков «на переднем рубеже» – ​непосредственно на уровне сбора данных. Другие, такие как корпорация Waymo (г. Маунтин-Вью, шт. Калифорния, США), отдают приоритет централизованному слиянию необработанных данных датчиков непосредственно в центральном процессоре.

Разработанная фирмой Seeing Machines (г. Файшвик, Австралия) система мониторинга водителей (Driver Monitoring System, DMS) была принята в качестве основного стандарта безопасности к 2020 г. в соответствии с требованиями EuroNCAP. Однако помимо нее на выставке AutoSens было продемонстрировано много других новых систем мониторинга, в том числе контролирующих не только водителей, но и пассажиров и другие объекты внутри транспортного средства. Пример – ​новый датчик изображения RGB-IR, разработанный корпорацией On Semiconductor (г. Феникс, шт. Аризона, США) и сочетающий функции RGB- и ИК-датчиков. В нем используется усовершенствованная технологи обработки RGB-IR-видеосигналов фирмы Ambarella (г. Санта-Клара, шт. Калифорния, США) и ПО ИИ фирмы Eyeris (г. Пало-Альто, шт. Калифорния, США), обеспечивающее понимание ситуации в автомобиле.


NIR и SWIR: сопоставление

Использование ИК-области спектра обусловлено необходимостью видеть в темноте – ​как внутри, так и снаружи транспортного средства. В то время как в полупроводниковом RGB-ИК-датчике формирования сигналов изображения используется технология NIR (near infrared, ближняя ИК-область спектра), корпорация Trieye Technologies (г. Тель-Авив, Израиль) представила на выставке камеру, работающую в коротковолновой ИК-области спектра (SWIR). Различия между двумя этими технологиями показаны на рис. 1.



Источник: Trieye

Рисунок 1. Коротковолновая и ближняя ИК-область спектра, а также видимое излучение


К преимуществам SWIR относится возможность различать объекты заранее при любых погодных условиях и освещении. Что еще более важно, SWIR может обнаруживать опасности на дороге, такие как наледь (гололедица), в силу своей способности выявлять уникальные спектральные характеристики, определяемые химическими и физическими параметрами каждого материала.

До сих пор использование SWIR-камер ограничивалось военными, научными и аэрокосмическими приложениями из-за чрезвычайно высокой стоимости арсенида индия-галлия (InGaAs), используемого для их создания. Однако специалисты корпорации Trieye утверждают, что нашли способ создавать SWIR-приборы на основе стандартного КМОП-процесса (рис. 2), что позволило значительно снизить цены – ​если InGaAs-датчик стоит более 8,0 тыс. долл., то КМОП-камера будет предлагаться по цене в несколько десятков долларов.



Источник: Trieye

Рисунок 2. Структура SWIR-камеры корпорации Trieye


Нехватка аннотированных данных

Одна из самых больших проблем ИИ – ​нехватка обучающих данных, конкретнее – ​аннотированных данных. Модель формирования логического вывода приемлема, данные и способ их сбора – ​тоже, но отмечается необходимость пометки обучающих данных метаданными, что занимает много времени. Для решения проблемы предпринимаются попытки автоматизации процесса. Например, модель Drive.ai для повышения автоматизации аннотирования данных и, соответственно, ускорения утомительного процесса их маркировки использует глубокое обучение. На выставке-конференции AutoSens‑2019 состоялась оживленная дискуссия о модели генеративно-состязательной сети(generative adversarial network, GAN). В ней две нейронные сети конкурируют за создание новых данных. Как сообщается, GAN учится генерировать новые данные с той же статистикой, что и у обу-чающего набора.

Другой аспект проблемы – ​сложность точного аннотирования данных. Многие данные остаются немаркированными, потому что лишь несколько крупных компаний могут позволить себе сделать это правильно. Стартапы, занимающиеся разработкой алгоритмов ИИ, сталкиваются с существенными издержками на оплату сторонним организациям за аннотирование данных.

Подчеркивается, что GAN – ​лишь один из подходов к проблеме. Например, фирма Edge Case Research (г. Питтсбург, шт. Пенсильвания, США) предложила другой способ ускорить разработку более безопасного ПО для восприятия данных без маркировки. Недавно она анонсировала инструмент под названием Hologram, который предлагает систему стресс-теста восприятия ИИ и анализа рисков. Специалисты фирмы уже дважды запустили без маркировки набор данных емкостью около петабайта. Теперь инструментальное средство Hologram заранее оповещает пользователя о возможных трудностях, выделяя области, где ему лучше вернуться назад и перепроверить данные, собрать больше данных или добавить один или несколько этапов обучения.

В ходе обсуждений на конференции была отмечена еще одна проблема, касающаяся работы с визуальными данными. Специалисты автомобильной промышленности, работающие над ADAS и автономными транспортными средствами, обеспокоены двумя вещами:

надежным восприятием окружающей обстановки при любых условиях;

точными и масштабируемыми визуальными моделями.

Типичные системы камер, устанавливаемые в настоящее время в ADAS или автономном транспорте, отличаются большой вариабельностью (рис. 3). В зависимости от объективов (различные объективы обеспечивают различные поля зрения), датчиков и способов обработки сигнала изображения различаются и все параметры. Любая высокотехнологичная компания выбирает конкретную систему камер, собирает большой набор данных, аннотирует его и обучает, чтобы построить точную модель нейронной сети, настроенную на систему.



Источник: Algolux

Рисунок 3. Число камер, лидаров и радаров, используемых в автономных транспортных средствах Tesla, Waymo, GM/Cruise, и их характеристики


Но что происходит, если OEM заменит камеру, первоначально использовавшуюся для обучения данных? Такое изменение может повлиять на точность восприятия, поскольку модель нейронной сети, настроенная на оригинальную камеру, теперь вынуждена иметь дело с новым набором необработанных данных. Должен ли OEM в связи с этим снова обу-чать свой набор данных?

Специалисты фирмы VSI Labs (г. Сент-Луис-Парк, шт. Миннесота, США), обсуждая возможность замены формирователей сигналов изображения, отметили, что при этом необходимо исходить из совпадения (полного или очень близкого) заменяемого и заменяющего приборов. В другом случае подобная замена не будет иметь смысла. Недавно они обучили собственную нейронную сеть для работы с тепловой камерой бортовой ИК-системы переднего обзора (FLIR). Учебные изображения были подобраны под характеристики камеры, на которой впоследствии была развернута нейронная сеть. Благодаря этому произошедшая замена учебного датчика на рабочий не привела к изменению характеристик системы.

Фирма Algolux (г. Монреаль, Канада), в свою очередь, представила набор средств оптимизации Atlas Camera Optimization Suite, позволяющий изменять ранее созданные наборы данных в соответствии с требованиями новых камер и формирователей сигналов изображения «в течение нескольких дней». Это позволяет «демократизировать» выбор камеры для OEM-производителей. Однако и здесь есть свои ограничения – ​характеристики камер, под которые можно оптимизировать существующие наборы данных, должны быть заранее известны. Эти характеристики (камеры и датчика) закладываются в слоях обнаружения объектов.


Аппаратное обеспечение искусственного интеллекта

За последние несколько лет появилось множество новых стартапов, специализирующихся на процессорах ИИ, что позволило некоторым отраслевым обозревателям заговорить о наступлении «ренессанса» аппаратного обеспечения. Многие ИИ-стартапы рассматривают ADAS и автономные транспортные средства в качестве своих целевых рынков. Так, ориентируясь на формирующийся рынок ИИ-ускорителей, корпорация Ceva (г. Маунтин-Вью, шт. Калифорния, США), представила на конференции AutoSens новое ядро ИИ и «стимулирующий интерфейс прикладного программирования» (Invite API).

Любопытно, но появление нового поколения многофункциональных автомобилей еще не привело к выпуску на рынок свежих ИС ИИ – ​помимо уже разработанных корпорациями Nvidia (г. Санта-Клара, шт. Калифорния, США) и Intel/Mobileye (г. Санта-Клара, шт. Калифорния, США; г. Иерусалим, Израиль), а также ИС «компьютеров полностью самодвижущихся машин (fullself-driving (FSD) computer), разработанных корпорацией Tesla (г. Пало-Альто, шт. Калифорния, США) для внутреннего использования.

С другой стороны, демонстрация RGB+IR-камеры на AutoSens показала, что команда корпораций On Semi и Eyeris выбрала «систему-на-кристалле» (SoC) фирмы Ambarella в качестве процессора ИИ для задач мониторинга в автомобиле. Сама система состоит из трех плат (рис. 4). Фирма Ambarella до сих пор рассматривалась как поставщик, традиционно ориентирующийся на средства сжатия видео и компьютерное зрение, ее появление в сфере ИС ИИ, в частности ускорителей ИИ, оказалось неожиданностью. Продемонстрированная ею «система-на-кристалле» (SoC) CV2AQ может поддерживать 10 нейронных сетей при потреб-ляемой мощности менее 5 Вт. Частота смены кадров, контролируемых этой SoC-камерой, составляет 30 кадров в секунду, при этом в автомобиле Eyeris может быть установлено до шести камер, использующих ИИ-алгоритмы мониторинга. Предполагается, что ПО ИИ Ambarella к Зимней выставке бытовой электроники в Лас-Вегасе (Consumer Electronics Show, январь 2020 г.) будет перенесено еще на три платформы.



Источник: EE Times

Рисунок 4. Новая салонная система мониторинга с использованием трех RGB-IR-камер, созданная фирмами On Semi, Ambarella и Eyeris


Представители корпорации On Semi подчеркивают, что приложения для мониторинга водителей и пассажиров требуют возможности «захвата изображений при переменном освещении от прямого солнечного света до полной темноты». Утверждается, что технология RGB-IR-КМОП-формирователей сигналов изображения обеспечивает выход сигнала полной высокой четкости формата 1080p с использованием задней 3,0-мкм подсветки (BSI) и трехэкспозиционного расширенного динамического диапазона. Датчики, чувствительные как к RGB, так и к ИК-свету, могут захватывать цветные изображения при дневном свете и монохромные ИК-изображения с подсветкой в ближней ИК-области спектра.


Уход за пределы систем мониторинга водителей

Помимо мониторинга водителя ПО ИИ корпорации Eyeris может выполнять сложную аналитику положений тела и выражений лица, мониторинг активности пассажиров и обнаружение объектов. Просматривается все внутреннее пространство автомобиля, включая поверхности сидений и руль. Иными словами, данное ПО ИИ уже вышло за рамки DMS, разработанной фирмой Seeing Machines.

Представители Seeing Machines, в свою очередь, отметили, что выход других разработчиков за рамки их DMS-системы – ​естественная эволюция. Компания и сама продолжает совершенствовать свою систему. Преимущество Seeing Machines перед стартапами заключается в опыте использования ИИ в средствах компьютерного зрения, накопленном за последние 20 лет. В настоящее время DMS-система фирмы Seeing Machines принята на вооружение шестью автопроизводителями и используется в девяти различных программах.

Кроме того, Seeing Machines разработала собственное аппаратное обеспечение – ​ИС мониторинга состояния водителя Fovio. Предполагается, что СФ-блоки этой ИС будут применяться в конфигурируемых аппаратных платформах.


Избыточность и резервирование

Совмещение дополнительных датчиков, работающих в различных режимах, и установка их в транспортном средстве необходимы не только для улучшения восприятия, но и для обеспечения избыточности (резервирования возможностей), крайне важной с точки зрения безопасности.

Стартап Outsight представил на выставке-конференции AutoSens новый высокоинтегрированный модуль, состоящий из нескольких датчиков. Этот модуль был разработан, чтобы обеспечивать восприятие всей окружающей среды (включая снег, лед и нефть на дороге) одновременно с определением местоположения, а использование активного гиперспектрального зондирования позволяет даже классифицировать дорожное покрытие. Специалисты Outsight не разглашают информацию о том, датчики каких фирм интегрированы в их модуль, сославшись на продолжающуюся настройку спецификаций и приложений. Высказывалось предположение, что в модуль будет интегрирована SWIR-камера корпорации Trieye, но сделка между двумя компаниями пока не заключена. Опытные образцы данного модуля, созданного по принципу слияния датчиков, будут предложены поставщикам первого уровня и OEM в I кв. 2020 г. в качестве дополнительной автономной системы, предлагающей «некоррелированные данные» для обеспечения безо-пасности и «истинной избыточности».

Корпорация AEye (г. Плезантон, шт. Калифорния, США) представила свою новую разработку – ​iDAR AE110, твердотельный MEMS-лидар, объединенный с камерой высокой четкости и предназначенный для рынка ADAS и автономных транспортных средств (см. таблицу). Система, интегрирующая два датчика и функции ИИ, работающая в реальном масштабе времени, может использоваться, в частности, в ситуациях, возникающих при превышении каких-либо предельно допустимых параметров (например, выход из строя электронного компонента при превышении допустимого напряжения).


Таблица

Свойства системы AE110 корпорации AEye по сравнению с промышленными критериями и возможностями

Спецификации лидара

AE110

Современные производственные возможности

Частота смены кадров

До 100 Гц

10–20 Гц

Дальность действия

230 м при коэффициенте отражения 10%

100–150 м

Растровая эмуляция

До 400 вертикальных каналов

16–64

Помехи

Менее 0,0000001%

3–11%

Уникальные возможности iDAR

AE110

Современные производственные возможности

Шифрование данных датчиков

Интегрированный антиспуфинг*

н/д

Частота повторной достижимости точки

В 3000 раз быстрее

н/д

Время смены кадра изучаемой области

10–30 мс (900 снимков)

н/д

Программно определяемые кадры

Фовеальный рендеринг**, окупаемость, эмуляция, синхронизация, случайность

н/д

Программная конфигурируемость

Четыре цепи обратной связи

н/д

UPD***-выход лидара

Оси X, Y, Z, интенсивность, цвета R, G, B, типы точек (фиксированные/плавающие) и т. д.

н/д

* Спуфинг (spoofing) – ​перехват зашифрованного сигнала с его передачей в измененном виде незаметно для получателя.

** Фовеальный рендеринг (foveated rendering) – ​техника графического рендеринга, основанная на динамическом отслеживании внимания пользователя к областям изображения.

*** UDP (user datagram protocol) – ​протокол пользовательских дейтаграмм.


Система iDAR объединяет 2D-камеру («пиксели», RGB) и данные 3D-лидара («воксели», XYZ) с целью формирования нового типа данных, поступающих с датчиков в реальном масштабе времени. Данные этого типа обес-печивают более точную и интеллектуальную информацию, которая относится к большему, чем у других систем, расстоянию и намного быстрее поступает в систему планирования траектории автономных транспортных средств.

На презентации представители корпорации AEye заявили, что изучались различные варианты использования данной системы – ​около 300 сценариев. Из них было выбрано 56 применимых случаев, число которых потом сократили до 20 сценариев, где слияние камеры, лидара и ИИ имеет смысл. Был продемонстрирован ролик, в котором маленький ребенок внезапно выбегает за мячом на проезжую часть улицы – ​прямо перед автомобилем. Модуль, объединяющий камеру и лидар, а также обрабатывающий данные без их отсылки на центральный процессор («на переднем рубеже») работает гораздо быстрее, уменьшая время реакции автомобиля. Отмечалось, что платформа iDAR может очень быстро обеспечить расчет снижения (повышения) скорости и необходимого маневра.

В рамках дискуссии представитель Waymo усомнился в преимуществах обработки данных в первичных модулях по сравнению с обработкой в центральном процессоре, указав что разница в миллисекундах реального значения иметь не будет.

AEye при разработке iDAR тесно сотрудничала с корпорациями Hella (г. Липпштадт, Германия) и LG (г. Сеул, Южная Корея), благодаря чему удалось существенно снизить стоимость устройства – ​теперь 3D-лидар предлагается по ценам ADAS. Комбинированная система RGB+лидар автомобильного класса со встроенным ИИ появится на рынке в ближайшие три-шесть месяцев по цене менее 1,0 тыс. долл.

На рис. 5 приводятся фактические и прогнозные данные исследовательской корпорации IHS Markit (г. Лондон, Великобритания) по отгрузкам автомобильных лидарных систем в период 2015–2025 гг.



Источник: IHS Markit

Рисунок 5. Фактические и прогнозные отгрузки автомобильных лидарных систем в 2015–2025 гг. (2019 г. – оценка, 2020–2025 гг. – прогноз)

* FMCW (frequency modulated continuous wave) – непрерывная частотно-модулированная незатухающая волна. FMCW-радар работает на сверхвысокой частоте (~24 ГГц), которая линейно нарастает на 2 ГГц в течение примерно 20 мс во время цикла измерения (качание частоты).


Специалисты IHS Markit на конференции отмечали, что поставщики лидаров демонстрируют «чрезмерно маркетинговый подход, обещая слишком много». Техническое совершенство лидаров разных типов – ​вещь важная, но их успешный выход на рынок будет зависеть от стратегии коммерциализации (своевременность выхода на рынок, ценовая политика, инфраструктура поддержки и т. д.). Соответственно, возникает существенная потребность в стандартизации, формировании альянсов и партнерских отношений (в том числе по проблемам ИИ), управление цепочками поставок и т. п.


Yoshida Junko. 6 Trends on ‘Perception’ for ADAS/AV. EE Times, September 23, 2019: https://www.eetimes.com/document.asp?doc_id=1335127


ЧИТАЙТЕ ТАКЖЕ

Выпуск 24/25 (6748/6749) от 23 декабря 2021 г. г.
Выпуск 23(6747) от 25 ноября 2021 г. г.
Выпуск 18(6742) от 16 сентября 2021 г. г.
Выпуск 17(6741) от 02 сентября 2021 г. г.