Перспективные направления развития датчиков изображения

Перспективные направления развития датчиков изображения

Выпуск 1(6725) от 14 января 2021 г.
РУБРИКА: ДАТЧИКИ И ПОЛУПРОВОДНИКОВЫЕ ПРИБОРЫ

Камера, как и человеческий глаз, состоит из нескольких элементов, обеспечивающих визуальную четкость, цвет и глубину резкости, – ​линз, фильтров и электроники. Одна из ключевых частей камеры смартфона, сравнимая с сетчаткой человеческого глаза, – ​КМОП-формирователь сигналов изображения (CMOS image sensor, CIS). Первоначальная цель технологии CIS заключалась в оптимизации качества изображения для просмотра человеческим глазом. Теперь технологии CIS продвигаются для новой цели – ​улучшения зрения человека.

CIS все шире используются в качестве средств сбора информации о цифровых изображениях, которые предоставляют данные для перспективных приложений искусственного интеллекта (ИИ). У этой технологии появился целый ряд новых применений, от выявления дефектов производственных процессов во время их осуществления до обнаружения объектов в темноте.

Поскольку возможности фотографирования мобильными устройствами постоянно расширяются и становятся более конкурентоспособными, ожидается, что CIS-технология будет продолжать совершенствоваться и способствовать дальнейшим инновациям. По данным фирмы Research and Markets (Дублин, Ирландия), среднегодовые темпы роста в сложных процентах (CAGR) мирового рынка датчиков изображения за период 2018–2023 гг. составят 6,2%, а объем продаж в конце прогнозируемого периода достигнет 23,2 млрд долл.


Факторы роста

Рост спроса на CIS во многом объясняется улучшением характеристик датчиков изображения, но играют роль и другие факторы. Производители смартфонов обратились к инновациям в камерах, чтобы за их счет выделить свои устройства среди изделий конкурентов на насыщенном рынке. Новые и разнообразные функции камеры – ​например, оптический зум – ​нуждаются в передовых сенсорных технологиях. Сыграло свою роль и развитие маломощных и компактных датчиков изображения, а также более широкое использование устройств считывания изображений в биометрических приложениях. Одной из основных тенденций развития мобильных устройств стало использование в них нескольких камер.

В камерах смартфонов качество изображения часто связано с CIS, потому что эксплуатационные параметры формирователей сигналов изображения влияют на ключевые факторы, такие как разрешающая способность, чувствительность и отношение сигнал–шум. Но это также позволило появиться новым приложениям, одновременно повысив производительность устройств обработки изображений. Таким образом, качество изображения в CIS-камерах для смартфонов превзошло уровень компактных камер, и их отрыв от цифровых однообъективных зеркальных фотокамер (digital single lens reflex, DSLR) постоянно сокращается.


Изменение конечной цели

Изначально цель технологии CIS заключалась в оптимизации качества изображения для человеческого глаза. По мере развития технологии ее цель сместилась в сторону достижения качества изображения, оптимизированного для машинных алгоритмов. Но дифракционные пределы (рис. 1) ограничивают возможность миниатюризации пикселей CIS.



Источник: EE Times

Рисунок 1. Изображение дифракции диска Эйри


В результате производители стали повышать уровень интеграции пикселей CIS за счет непрерывного совершенствования самих устройств и технологических процессов, а также за счет поддержки различных областей применения путем улучшения технологии обработки сигналов изображения (image signal processing, ISP). Это преобразование происходило постепенно.

На первом этапе разработчики сконцентрировались на компенсации потери чувствительности, неизбежно вызванной уменьшением размера пикселя, создав множество инновационных технологий, включая встроенные линзы (или микролинзы), глубокий фотодиод с более толстым слоем кремния и технологию задней подсветки.

Когда размер пикселя достиг примерно одного микрона, начался второй этап, в рамках которого основное внимание уделялось уменьшению перекрестных помех. За это время были разработаны новые технологии, такие как структуры на основе металлических сеток в слое цветного фильтра и процесс изоляции кремниевого фотодиода глубокими канавками – ​чтобы подавить оптические и электрические перекрестные помехи соответственно. Ожидается, что с этими нововведениями платформы CIS превратятся в датчик информации, поддерживающий расширенные дополнительные функции, не ограничиваясь только улучшением качества изображения.


Новые технологии

За этой инновацией стоит еще одна движущая сила: появление технологии этажированных датчиков. Поскольку традиционный датчик имеет структуру, в которой пиксели и схемы реализованы на одной и той же подложке, было важно уменьшить область CIS, свободную от света, для уменьшения размера формирователей сигналов изображения. Поэтому в CIS реализовывались только основные функции аналоговых и цифровых схем, а добавление схем для дополнительных функций было очень ограниченным.

В этажированном датчике корпорации SK Hynix в нижнюю подложку, предназначенную для обработки сигналов изображения, уже встроен простой аппаратный блок ИИ. При этом используются передовые полупроводниковые технологические процессы с малыми проектными нормами (рис. 2). Дальнейшие перспективы – ​применение новых технологий на основе машинного обучения, таких как сверхвысокое разрешение, восстановление цвета, распознавание лиц и объектов. Все это уже находится в разработке, а некоторые из нововведений начинают поступать на рынок.



Источник: EE Times

Рисунок 2. Сравнение структуры обычного и этажированного датчиков


Так, корпорация Sony объявила о выпуске двух моделей интеллектуальных видеодатчиков – ​первых в мире датчиков изображения, оснащенных функцией обработки ИИ для облачных сервисов. Эти продукты расширяют возможности для разработки камер с искусственным интеллектом, позволяют использовать широкий спектр приложений в сфере розничной торговли и промышленного оборудования и помогают создавать оптимальные системы, связанные с «облаком».

Например, при установке на входе в объект камера с этими датчиками может подсчитывать количество посетителей. При установке на торговой полке – ​обнаруживать нехватку товаров. Установленная на потолке, камера может использоваться для формирования тепловых карт помещений, чтобы определить места, где собирается больше всего людей. Поскольку технология обработки сигналов изображения на основе машинного обучения позволяет извлекать из входных изображений и классифицировать различные характеристики, CIS станет ключевым компонентом информационных датчиков, собирающих разнообразные данные об изображении, местоположении, расстояниях и другой биометрической информации.

Важность данного вопроса особенно возрастает в применении к автономным транспортным средствам, которые для исследования окружающей среды используют не менее десяти камер. В целях повышения точности должны учитываться различные требования, такие как поддержка высокого разрешения для различения удаленных объектов, поддержка сверхвысокого разрешения с повышенным диапазоном яркости (high dynamic range, HDR) для распознавания объектов даже в темноте и предварительная обработка сигналов изображения с целью уменьшить количество вычислений, которые должен осуществить процессор (рис. 3).



Источник: EE Times

Рисунок 3. Места установки камер в беспилотном автомобиле


С точки зрения безопасности необходима функция сжатия и шифрования сигналов изображения во встроенных в CIS средствах обработки сигналов изображения и их передачи на внешний процессор. Если сигнал изображения передается наружу незашифрованным, вероятность уязвимости системы безопасности и утечки информации возрастает. По этой причине функция шифрования внутри CIS очень важна.

В дальнейшем CIS будут использоваться в различных областях применения, в том числе в камерах смартфонов, способствуя созданию экономической и социальной ценности, что позволит данной технологии в будущем стать ключевым компонентом информационных датчиков.


Kim Taehyun. Future of Vision: Sensor Tech Is Shifting from Images to Information. EE Times magazine, December 13, 2020: https://www.eetimes.com/1373529–2/?utm_source=newsletter&utm_campaign=link&utm_medium=EETimesDaily

ЧИТАЙТЕ ТАКЖЕ