Цифровые двойники и глубокое обучение

Цифровые двойники и глубокое обучение

Выпуск 12 (6711) от 25 июня 2020 г.
РУБРИКА: ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА

В современном мире важнейшим активом стали информационные ресурсы. Это общая черта наиболее дорогостоящих компаний мира, будь то Amazon, Apple, Facebook, Google, Walmart или Netflix. Данные используются для работы с использованием технологий глубокого обучения. Важнейший фактор успеха глубокого обучения – ​наличие достаточного количества правильных данных. В этом плане все большее значение приобретают цифровые двойники – ​цифровые копии реальных процессов, систем или приборов, способные стать ключом к успеху при реализации проектов с использованием технологий глубокого обучения, особенно связанных со сложными или затратными процессами.


Перспективность глубокого обучения

К настоящему времени почти все отрасли промышленности, включая полупроводниковую, признали ценность потенциала технологий глубокого обучения (deep learning, DL) для создания стратегических преимуществ. Для расширенного сопоставления исследуемого объекта с образцом в глубоком обучении используются нейронные сети – ​в таких разнообразных областях, как распознавание лиц и речи, анализ медицинских изображений, биоинформатика и контроль качества материалов. В полупроводниковом производстве DL уже применяется в классификации дефектов. Большинство ведущих компаний борются за обретение преимуществ в этой многообещающей новой сфере.

При освоении какой-либо фирмой DL и изу-чении путей оптимизации деятельности с помощью этой технологии выясняется, что создать опытный образец глубокого обучения относительно легко – ​а вот перейти от «хороших результатов прототипа» к «результатам, пригодным для производственного применения» значительно труднее. Действительно, первоначальная разработка приложений глубокого обучения, благодаря всем доступным в настоящее время платформам, инструментальным средствам и наборам DL (от недорогих до бесплатных), происходит очень быстро и относительно легко – ​по сравнению с разработкой обычных приложений. Однако превратить приложение DL в законченный продукт, пригодный для использования в производстве, ничуть не проще, а может быть, и сложнее, чем в случае обычных приложений. Все дело в данных. Наличие достаточного количества данных – ​в первую очередь правильных видов данных – ​очень часто составляет отличие между приложением DL, которое не дает результатов, пригодных для производственного применения, и приложением, которое революционизирует подход к конкретной проблеме.


Пробелы в данных глубокого обучения

DL основано на сопоставлении с образцом, которое «программируется» путем представления нейронным сетям данных, являющихся целевыми показателями, подлежащими сопоставлению. Массивы данных обучают сеть распознавать целевой показатель (и отличать его от нецелевых показателей).

Глубокое обучение – ​очень мощное инструментальное средство для быстрого создания опытных образцов и подтверждения правильности концепций. Но его реальное преимущество не в скорости разработки, а в том, что оно открывает уникальные возможности, недостижимые никаким другим способом.

Успех любого применения DL зависит от глубины и широты набора данных, используемых в обучении. Если этот набор слишком мал, слишком узок или слишком «нормален», подход DL не будет работать лучше стандартных методов – ​более того, фактически он может работать хуже. Важно обучить нейронную сеть на основе данных, представляющих все важные состояния, в объемах, достаточных для того, чтобы сеть научилась правильно улавливать суть рассматриваемой проблемы.

Трудности в таких областях, как автономное вождение или производство полупроводниковых приборов, заключаются в том, что некоторые из наиболее серьезных аномальных условий возникают (к счастью!) очень редко. Однако если требуется, чтобы приложение DL распознало ребенка, выбегающего перед автомобилем, или фатальную ошибку фотошаблона, необходимо обучить нейронную сеть множеству сценариев, которые в реальном мире не встречаются в сколь-либо значимых объемах (рис. 1). Единственный способ создать достаточное количество аномальных данных, чтобы должным образом обучить нейронные сети распознавать эти события, – ​применение цифровых двойников.

Приведенная на рис. 1 кривая нормального распределения показывает, что в условиях полупроводникового производства, как и при автономном вождении, «выбросы», т. е. аномальные, резко выделяющиеся (выпадающие) значения событий, очень редки. Несмотря на это необходимо обучать нейронные сети с их учетом, так как наихудшие инциденты приводят к отказу микросхемы, снижению средней производительности в целом.



Источник: EE Times

Рисунок 1. Кривая нормального распределения случаев в реальной жизни (вверху) и распределение данных, необходимое в полупроводниковом производстве (внизу)


Цифровые двойники как средство преодоления пробелов в данных глубокого обучения

Один из ключевых инструментальных средств создания нужного объема данных требующихся типов для успешного обучения сетей DL – ​цифровые двойники, виртуальные представления реальных процессов, систем и приборов. В июле 2019 г. на выставке-конференции SEMICON West 2019 корпорация Breker Verification Systems (Сан-Хосе, шт. Калифорния, США) представила доклад «Прикладной искусственный интеллект в проектировании с учетом технологических требований» (Applied AI in Design-to-Manufacturing), в котором излагалась концепция использования цифровых двойников в производстве полупроводниковых приборов. В соответствии с этой концепцией существует несколько причин использования цифровых двойников для создания обучающих данных DL:

данные, с которыми осуществляется работа, принадлежат клиентам, поэтому их нельзя использовать для глубокого обучения;

ресурсы, необходимые для создания данных, требующихся для DL, тесно связаны с проектами клиентов (и не подлежат оглашению);

при разработке приложений DL обнаружилась необходимость в конкретных данных для настройки и обучения нейронных сетей, чтобы достичь требуемого уровня точности, но стоимость использования ресурсов разработчика шаблонов или завода по обработке пластин для создания этих данных непомерно высока;

невозможно найти достаточный объем аномальных данных для адекватного обучения нейронных сетей глубокого обучения (этот случай почти универсален).

В идеальном случае для поддержания полного контроля над данными требуются три цифровых двойника:

цифровой двойник технологического процесса или оборудования, предшествующего в процессе производства целевому процессу или оборудованию (для обеспечения входных данных моделирования целевого процесса или оборудования);

цифровой двойник целевого технологического процесса или оборудования;

цифровой двойник технологического процесса или оборудования, следующего за целевым в процессе производства (для передачи выходных данных целевого процесса или оборудования далее по производственному процессу с целью проверки правильности результатов).

В 2019 г. на Конференции по технологии фотошаблонов Международного общества оптики и фотоники (2019 SPIE Photomask Technology conference), американская корпорация D2S (Сан-Хосе, шт. Калифорния) представила доклад «Создание цифровых двойников с использованием набора инструментальных средств глубокого обучения» (Making Digital Twins Using the Deep Learning Kit). В нем описывалось создание цифрового двойника растрового (сканирующего) электронного микроскопа (SEM) и цифрового двойника технологии криволинейной инверсионной литографии (ILT) с использованием методов глубокого обучения (на рис. 2 показаны выходные данные цифрового двойника SEM). Хотя выходные данные цифровых двойников в целом недостаточно точны для производства, эти цифровые двойники использовались как для обучения нейронных сетей DL, так и для проверки правильности результатов. Важно отметить, что цифровые двойники были созданы с использованием глубокого обучения, а не с помощью моделирования. Это пример использования DL в качестве инструмента для генерирования данных, необходимых для других моделей глубокого обучения, демонстрирующий совокупные преимущества инвестирования в технологии глубокого обучения.



Источник: EE Times

Рисунок 2. Изображения шаблона, сформированные при помощи цифрового двойника растрового электронного микроскопа (SEM) и реального SEM. Показана интенсивность изображения в горизонтальном сечении в одном и том же месте


Маршрутная карта достижения успеха в области глубокого обучения

Можно ли поручить эту большую работу по глубокому обучению сторонней фирме? Лучше не надо. Из-за высочайшей ценности данных (конкурентоспособность, интеллектуальная собственность и т. п.) и необходимости их защиты желательно осуществлять глубокое обучение самостоятельно. Некоторые опробованные способы достижения успеха уже существуют.

Во-первых, необходимо тщательно определить проект, где глубокое обучение будет иметь достаточное значение. В основе DL лежит сопоставление с образцом, поэтому нужно выбрать проект, попадающий в эту область. Приложения на основе сопоставления изображений, такие как классификация дефектов, очевидно подойдут. Менее очевидным, но очень важным представляется автоматическое обнаружение по файлам регистрации. Оборудование заводов по обработке пластин генерирует массу оперативных данных, к которым редко обращаются, пока что-то не пойдет не так. Вместо того чтобы использовать эти ценные данные просто в качестве диагностического инструмента постфактум, можно отслеживать их на постоянной основе и обучать приложения DL маркировать шаблоны, предшествующие возникновению каких-либо проблем. Благодаря этому можно будет предсказать время и место возникновения проблем и исправить их, прежде чем они окажут существенное влияние на результаты (выход годных), сократив время простоя оборудования.

На прошедшей Конференции SPIE по перспективным технологиям литографии (SPIE Advanced Lithography Conference 2020) корпорация Mycronic (Стокгольм, Швеция) описала, как она использует DL для работы с данными из своих машинных журналов регистрации для предсказания аномалий типа mura (неравномерные эффекты яркости, раздражающие человеческий глаз, но трудно обнаружимые алгоритмами обработки изображений) на шаблонах плоскопанельных дисплеев.

В целом, хорошие кандидаты для использования методик глубокого обучения – ​те утомительные и подверженные ошибкам процессы, выполняемые людьми-операторами, которые трудно автоматизировать с помощью традиционных алгоритмов. В конкретных ситуациях, будь то визуальный осмотр или что-то другое, вероятность правильного выполнения задачи человеком-профессионалом, как правило, высока. Но, сталкиваясь со множеством аналогичных, повторяющихся ситуаций, люди начинают совершать все больше ошибок. Иными словами, в уникальной конкретной ситуации DL может показать худший результат, чем человек, но при рассмотрении неограниченного числа случаев в течение неограниченного времени результативность работы методик глубокого обучения не изменяется. Люди устают и совершают больше ошибок по мере роста объема задач или времени их выполнения; вероятность успеха DL при этом не уменьшается.


Помощь в преодолении пробелов в данных для достижения успеха в области глубокого обучения

После того как проект DL выбран, можно воспользоваться помощью различных доступных ресурсов, позволяющих клиентам поддерживать строгий контроль над собственными данными. Фирма-новичок в области DL, желающая получить всестороннюю поддержку своего опытного проекта глубокого обучения, может присоединиться к Центру глубокого обучения в области производства электроники (Center for Deep Learning in Electronics Manufacturing, CDLe, www.cdle.ai). Это альянс ведущих отраслевых фирм и научно-исследовательских организаций, призванный объединить таланты и ресурсы для продвижения современных средств DL в уникальное проблемное пространство участников и ускорить внедрение методик глубокого обучения в каждый из продуктов фирм-членов, а также совершенствовать соответствующие предложения для своих клиентов.

Если фирма уже работает над собственными проектами DL, но столкнулась с проблемами из-за недостаточности или отсутствия данных, необходимых для глубокого обучения, можно обратиться за помощью к специализированным организациям, способным помочь в создании цифровых двойников для увеличения объема и настройки наборов данных. Одна из таких организаций – ​корпорация D2S.


Fujimura Aki. Digital Twins: Bridging the Data Gap for Deep Learning Success. EE Times, May 28, 2020: https://www.eetimes.com/digital-twins-bridging-the-data-gap-for-deep-learning-success/


МНЕНИЕ ЭКСПЕРТА

Дмитрий Соколов

Действительно, цифровые двойники позволяют обогатить данными системы Deep Learning в целях обучения и поиска аномалий технологических процессов или продукции. Например, для «Сименс» стандартом является моделирование систем и работы оборудования с помощью таких решений, как SIMIT, Tecnomatix Plant Simulation, в разы сокращающих сроки отладки и запуска нового производства.

Однако истинные аномалии и образцы отклонений могут быть найдены только в данных, собранных с реальных процессов и изделий. Цифровой двойник лишь позволяет создать нужное окружение для нейронной сети и ускорить процесс обучения. Поэтому очень важно связать цифровой двойник (модель процесса или оборудования) с реальным миром путем сбора и обогащения данных. Для этого мы используем платформу IIoT MindSphere, которая постоянно синхронизирует цифровые двойники с реальностью.

При создании и обучении DL-нейронных сетей нельзя недооценивать роль человека. Мы широко используем «обучение с подкреплением», в котором человек корректирует результат анализа данных нейронной сетью, там где уверенность распознавания паттерна ниже порога, например, 70%. Результат коррекции подается снова на вход нейронной сети. Человек при этом может быть экспертом в узкой предметной области, например в газовых турбинах или промышленных прессах, тогда своим опытом, нечеткими знаниями и эвристиками («живой цифровой двойник») он еще больше обогащает среду обучения DL-нейронной сети.


ЧИТАЙТЕ ТАКЖЕ

Выпуск 22(6746) от 11 ноября 2021 г. г.
Выпуск 21(6745) от 28 октября 2021 г. г.