Проблемы разработки систем DMS

Проблемы разработки систем DMS

Выпуск 2(6726) от 28 января 2021 г.
РУБРИКА: УПРАВЛЕНИЕ И БЕЗОПАСНОСТЬ

Технология мониторинга состояния (внимания и сосредоточенности) водителя (driver monitoring system, DMS), вроде бы отошедшая на задний план, снова все активнее упоминается в дискуссиях о безопасности. Появляются новые правила и требования к безопасности новых автомобилей. Европейский парламент обновил свои «Общие правила обеспечения безопасности» (General Safety Regulation, GSR), а в рамках Европейской программы оценки новых автомобилей (Euro NCAP) завершается формирование протоколов тестирования DMS. И этим дело не ограничивается…

Автомобильная промышленность сталкивается с настораживающими доказательствами того, что чем дольше водители используют частичную автоматизацию, тем более небрежными они становятся.

Конечно, автопроизводители хотят, чтобы водители полагались на новые технологии, рекламируемые как функции безопасности в перспективных системах помощи водителю (ADAS). Однако чрезмерная зависимость от автоматизации порождает небезопасное поведение, и DMS находится прямо в центре этих шатких отношений между человеком и машиной (рис. 1).



Источник: MIT AgeLab, Bryan Reimer

Рисунок 1. Структура мониторинга внимания водителя


Представители Массачусетского технологического института (MIT) указывают на необходимость интеграции данных DMS в системы активной безопасности. MIT был инициатором исследования, проведенного Институтом страхования дорожной безопасности (Арлингтон, шт. Виргиния, США), которое показало негативное влияние частичной автоматизации, развернутой в автомобилях низкого уровня автоматизации. Как отметили специалисты MIT, цель состоит в том, чтобы «максимально повысить безопасность, используя преимущества как автоматизации, так и человека». Чтобы совместная система (автомобиль и человек) была лучше, чем система, контролируемая только человеком, «нужно подумать о разработке надежных данных».

Многие специалисты отмечают, что ADAS и DMS должны быть связаны. Оценка состояния водителя, сделанная DMS, должна трансформироваться в такие действия ADAS, как торможение и руление. Интеграция внутренних и внешних датчиков открывает новые возможности для повышения безопасности. Существуют две области ценности в соединении ADAS и DMS:

понимание реальных рисков безопасности при обеспечении правильной оценки состояния человека;

использование DMS для определения порогового значения функций ADAS.

Среди нерешенных проблем – ​понимание того, как функции DMS должны быть адаптированы к ряду сценариев и условий вождения. Например, как определить порог отвлекающих сигналов при вождении в городе или в сельской местности? Добавьте к этому вопрос о том, что степень риска для безопасности должна определять реакцию человеко-машинного интерфейса и транспортного средства, но смогут ли автопроизводители сделать эту реакцию реально соответствующей серьезности риска?


«Базовая версия» DMS

Программа Euro NCAP использует очень прагматичный и быстрый подход. Ее разработчики в первую очередь хотят добиться создания «базовой версии» DMS для каждого типа автомобиля, а затем разработать маршрутную карту развития соответствующих технологий. Учитывая протоколы испытаний DMS, разрабатываемые в рамках Euro NCAP, основное внимание уделяется системам на основе технического зрения.

Специалисты фирмы Jungo Connectivity в разработке технологий DMS и систем мониторинга пассажиров (OMS) сделали ставку на двумерные камеры. У этой фирмы есть несколько компаний-партнеров, работающих совместно с ней над измерением «когнитивных способностей» или «душевного состояния» водителя. Изготовители комплектного оборудования в целом ищут варианты установки дополнительных датчиков, но при этом понимают, что камеры обеспечивают наибольшую рентабельность инвестиций с точки зрения различных функций.

Компания Eyesight Technologies, недавно переименовавшая себя в Cipia, по-прежнему твердо придерживается мнения, что системы технического зрения представляют собой ведущий метод мониторинга водителей. Среди их возможностей – ​распознавание закрытия глаз, определение направленности взгляда и выражения лица, которые являются наиболее явными индикаторами сонливости и рассеянности водителя. При этом специалисты Eyesight Technologies не отказываются от других датчиков (радары, средства мониторинга дыхания и т. д.), однако в настоящее время рынок во многом определяется нормативными требованиями, которые лучше всего решаются с помощью систем технического зрения.


Датчики для DMS следующего поколения

Несмотря на то что DMS на основе технического зрения является приоритетом для многих изготовителей комплектного оборудования, разработчики DMS не перестанут искать датчики, способные добавить новые измерения. На выставке CES-2020 фирма Smart Eye представила датчик дыхания на основе радара. Как и многие поставщики технологий DMS, которые также ищут решения для мониторинга пассажиров, специалисты этой фирмы стремятся к полному использованию возможностей контроля ситуации в салоне: одна или две широкоугольные камеры обозревают весь салон и отмечают положение тела водителя, ребенка на заднем сиденье, состояние ремней безопасности и т. д. Разработчики также стремятся к тому, чтобы камеры фиксировали выражения лиц всех пассажиров и сопоставляли их с основными эмоциями. Предполагается, что внутреннее пространство автомобиля будет контролироваться с помощью многорежимного модуля датчиков. Smart Eye планирует продолжить разработку ПО, способного работать с несколькими режимами датчиков. Некоторые фирмы, такие как Valeo, работают над применением радаров для обнаружения младенцев, маленьких собак и т. п., оставленных в одиночестве на заднем сиденье автомобиля.

Датчики времени пролета (time of flight, ToF) также могут внести вклад в развитие технологии DMS. Хороший пример – ​партнерство между ADI и Jungo, объявленное в 2020 г. Датчики ToF позволяют повысить точность таких алгоритмов, как распознавание лиц, жестов и позы, а в некоторых случаях способны обеспечить избыточность – ​например, обнаружение рук вне руля. Они станут доступны для потребителей в составе DMS в 2021 г.

Другие разработчики сомневаются, что добавление сенсорных режимов в DMS решит такую сложную проблему, как мониторинг сонливости водителя. Специалисты фирмы Seeing Machines изучили работу датчиков, фиксирующих активность мозга, частоту сердечных сокращений и дыхание. Было обнаружено, что все эти датчики дают много помех, кроме того, существует множество причин, по которым частота сердечных сокращений или частота дыхания могут измениться. Соответственно, специалисты Seeing Machines по-прежнему предпочитают определять состояние человека по глазам и лицу.



Источник: IEEE Pervasive Computing

Рисунок 2. Определение состояния водителя


Что и как следует тестировать по программе Euro NCAP?

Первый приоритет при тестировании DMS – ​установка системы в автомобиле. Это необходимо потому, что многие системы, хорошо себя показавшие на стенде, не работают в жестких условиях реального вождения. К некоторым «сюрпризам», отрицательно воздействующим на работу DMS, относятся прямой солнечный свет и уличные фонари, создающие стробирующие эффекты. Водители в масках и солнцезащитных очках также могут сбить DMS с толку.

Каковы же тогда функции DMS, которые необходимо проверить? Многие поставщики отказались сообщать эту информацию, сославшись на свое участие в разработке тестов Euro NCAP. Правда, представители фирмы Smart Eye подчеркивают важность как точности отслеживания, так и доступности основных признаков, таких как положение головы, степень открытия век, направление взгляда и т. д. Если эти признаки не обладают высокой степенью достоверности, будет невозможно создать на их основе приложение для предупреждения аварий, которое было бы и чувствительным, и имеющим низкую частоту ложных предупреждений.

Многие специалисты оценивают протоколы испытаний Euro NCAP как «незавершенную работу», отмечая, что важно не упустить возможность измерения наиболее важных характеристик систем DMS. Ряд основных требований сформулировали представители фирмы Jungo:

определение основного положения головы (взгляд на телефон, настройка информационно-развлекательной системы и т. д.);

распознавание микросна и других явлений сна;

определение длительной сонливости по множеству признаков (положение век, зевота, электроэнцефалограмма, движения руля);

учет условий освещенности (день, ночь, прямое солнце);

учет наличия аксессуаров (очки, солнцезащитные очки, шляпа, маска).

В конце концов, OEM-производители хотят, чтобы системы, совместимые с требованиями NCAP, были рентабельными. Автопроизводители также будут требовать наличия дополнительных функций, таких как обновления ПО. Кроме того, для высокоуровневых заказчиков потребуется решение, которое соответствует предпочитаемым ими чипсетам.


Как создать манекен, который изобразит засыпающего человека?

Это странный вопрос, но он касается того, как Euro NCAP может тестировать DMS внутри автомобиля. Есть ли вообще манекен, который изобразит засыпающего человека? Разработчики DMS считают, что водитель должен активно взаимодействовать с тестируемой системой, будь то на симуляторе или на испытательном треке. На данном этапе неясно, как это будет реализовано, но, вероятно, потребуется какое-то соглашение о том, как определять уровни сонливости.

Необходимо чтобы системы DMS преду-преждали не только о микросне, который наступает очень поздно в процессе засыпания, но и о тяжелых стадиях сонливости, когда способности человека к вождению резко снижаются. В действительности задача сложнее, чем предполагалось ранее. Сонливость (в отличие от закрытия глаз) представляет собой двойную проблему: ее трудно измерить и трудно смоделировать. Никто еще не объяснил, как Euro NCAP планирует решать этот вопрос.


Как сделать, чтобы DMS не раздражала водителя?

Самое слабое звено в технологии DMS – ​слишком большое число ложных срабатываний. Иногда доходит до того, что раздраженные водители выключают DMS, делая ее бесполезной. Некоторые разработчики (например, фирма Jungo) в своих предупреждениях ограничиваются лишь явными отвлекающими факторами, такими как отсутствие взгляда на дорогу, использование телефона, курение и т. п., и не пытаются оценить «когнитивное» состояние водителя, который, например, смотрит на дорогу, но при этом полностью погружен в свои мысли. Это действительно слишком сложно.

По мнению специалистов Smart Eye, ключом к минимизации количества ошибок должна стать очень высокая точность фундаментальных признаков. Необходимы хорошо спроектированные и тщательно протестированные приложения, преобразующие основные признаки в ценную информацию о состоянии водителя, и, наконец, хорошо продуманная стратегия предупреждения, в соответствии с которой система будет информировать водителей, не беспокоя их.

Корпорация General Motors разработала многоступенчатый подход к предупреждению с помощью системы Super Cruise, которая решает проблему за счет комбинации подкрепления (тихие сигналы) и предупреждений возрастающей громкости. Теоретически, распознавание состояния водителя (в плане концентрации внимания) и его интеграция в систему оповещения DMS могли бы уменьшить фактор раздражения. Но на данный момент нет ни одной системы, которая решает проблемы концентрации внимания или блуждания мыслей. Данные вопросы – ​область активных исследований ряда групп разработчиков DMS, а также нескольких OEM-производителей и поставщиков, с которыми эти группы работают.


Junko Yoshida. Can You Get ADAS and DMS Work Together? EE Times, December 18, 2020: https://www.eetimes.com/can-you-get-adas-and-dms-work-together/



В ЦЕНТРЕ ВНИМАНИЯ

Cipia

Количество сотрудников: около 50 (2020 г.).
Основная продукция: решения для автомобильной промышленности на базе ИИ.
Штабквартира: Тель-Авив, Израиль.
Инвестиции: 45,9 млн долл.

Компания Cipia предлагает системы мониторинга водителя, системы мониторинга заполненности и интенсивности работы автомобилей, системы контроля работы автопарков. Запатентованная технология использует компьютерное зрение и ИИ на базе краевых вычислений. В основе перспективных решений компании лежат десятки патентов и более 10 лет НИОКР. Cipia постоянно расширяет функциональные возможности предлагаемых ею средств.

Интеллектуальные автомобильные решения Cipia включают в себя:

Driver Sense – ​усовершенствованная система мониторинга водителя (DMS), отслеживающая состояние водителей в реальном масштабе времени;

Cabin Sense – ​система мониторинга ситуации в салоне автомобиля (OMS), контролирующая весь салон;

Fleet Sense – ​послепродажное видеотелематическое устройство Cipia и устройство мониторинга состояния водителей для автопарков и поставщиков телематических систем.

Данные решения были разработаны для повышения безопасности и удобства пользования автомобилем. Особое внимание уделяется системе Driver Sense. Она способна обнаруживать признаки сонливости, отвлечение внимания водителя при вождении, распознавать зарегистрированных водителей, фиксировать атрибуты или действия (например, статус ремня безопасности, использование мобильного телефона, наличие маски на лице, курение и пр.). Изготовителям комплектного оборудования предлагается встроенное ПО для предварительной установки в их легковые и грузовые автомобили.


ЧИТАЙТЕ ТАКЖЕ