В США разрабатывают этические принципы использования искусственного интеллекта в военных целях

В США разрабатывают этические принципы использования искусственного интеллекта в военных целях

Выпуск 23 (6697) от 21 ноября 2019 г.
РУБРИКА: ВОЕННАЯ ЭЛЕКТРОНИКА

Во время пресс-конференции предприятий американского оборонно-промышленного комплекса (DIB) в Вашингтоне были озвучены основные тенденции в подходе к использованию искусственного интеллекта (ИИ) военными структурами США. Назначенная Пентагоном группа технических экспертов заявила, что Министерство обороны США может и должно обеспечить сохранение людьми контроля над ИИ, используемым в военных целях. По мнению экспертов, раз американские военные выяснили, как безопасно использовать ядерную энергию, они смогут сделать то же самое и с искусственным интеллектом.

Консультативный совет по инновациям в сфере обороны США (Defense Innovation Advisory Board) в качестве первого принципа этичного военного ИИ сформулировал постулат, согласно которому сотрудники МО должны проявлять надлежащий уровень информированности и нести ответственность за полный цикл работы систем ИИ МО США. Еще четыре принципа утверждают, что ИИ должен быть надежным, управляемым, беспристрастным и принимать решения таким образом, чтобы они были понятны сотрудникам МО. Другими словами, ИИ не может быть «черным ящиком» с непостижимой математикой, который принимает причудливые решения, такие как, например, ПО Google для распознавания изображений, которое постоянно классифицирует афроамериканцев как горилл, а не как людей.

Консультативный совет отметил, что не может быть речи о допустимости ситуации (если это вообще возможно), чтобы ИИ самостоятельно принимал решения, касающиеся человеческой жизни (речь идет о распознавании по принципу свой–чужой и уничтожении противника). По заявлению ведущих специалистов из Университета Карнеги–Меллона, основное внимание уделяется не непосредственному боевому контакту, а использованию боевых систем.

В большинстве случаев текущая политика Пентагона фактически требует, чтобы только человек отдавал команду на уничтожение, даже если робот определяет цель и направляет оружие. Но военные также крайне заинтересованы в небоевых применениях ИИ – ​от диагностики и технического обслуживания до управления персоналом и анализа разведывательных данных.

Таким образом, можно свести основополагающий принцип к следующему: когда ИИ случайно или преднамеренно причиняет вред – ​в худшем случае, если он убивает мирных жителей, заключенных или представителей союзных войск, – ​невозможно обвинить ИИ и умыть руки. Люди, которые построили машину и оснастили ее системами вооружения, несут моральную и юридическую ответственность за ее действия, поэтому они должны быть уверены в том, что понимают, как данная система (пример – ​робот Textron Ripsaw M5, рис. 1, а также грузовые роботы REX, рис. 2) работает, и должны быть способны ее контролировать. Иными словами, никакая новейшая технология ИИ не отменяет человеческой ответственности.



Рисунок 1. Робот Textron Ripsaw M5 в боевой конфигурации



Рисунок 2. Грузовой робот REX (работающий на ИИ) предназначен для сопровождения пехотных отрядов с дополнительными боеприпасами и оружием или для эвакуации пострадавших


Этичный, контролируемый, невозможный?

Сегодня вопрос о том, этично ли использовать ИИ на войне, само по себе вызывает споры. Активисты по контролю над вооружениями и правозащитные организации, такие как объединение «Остановить роботов-убийц» (Campaign to Stop Killer Robots), скептически относятся к любому военному применению. Знаменитые публицисты, такие как Стивен Хокинг и Илон Маск, предупреждают, что даже гражданский ИИ может выйти из-под контроля человека, что приведет к необратимым последствиям. Инициаторы процессов противодействия распространению ИИ часто говорят о грядущей «сингулярности», когда ИИ будет развиваться за пределами человеческого понимания.

В свою очередь, Консультативный совет по инновациям в сфере обороны США утверждает, что вооруженные силы США имеют долгую историю этичного использования технологий даже в разгар «Холодной войны», и что эта традиция все еще применима к ИИ.

МО США обладает значительным опытом по внедрению инноваций. Цель состоит в том, чтобы развить имеющиеся наработки, добавив только то, что необходимо конкретно для ИИ, а не изобретать заново все нормы этики специально для военных.

Как утверждают специалисты Google, МО США разработало собственные этические принципы. Более того, по данным корпорации МО США налажен сложный процесс контроля и проводятся регулярные тактические обзоры последствий с целью предотвращения неправильного использования средств вооружений. Именно благодаря этому американские военные настолько преуспели в снижении «побочного ущерба» (летальность местного населения). Цель – ​сделать так, чтобы системы вооружений выполняли только то, на что они запрограммированы, в том числе системы на основе ИИ.

Консультативным советом по инновациям в сфере МО США на протяжении трех лет проводились специальные исследования в области технологий оборонной промышленности. В результате было выявлено, что МО США является глубоко этичной организацией не в силу публикации какого-то конкретного документа, а из-за высокого уровня подготовки, этического воспитания и мотивации его сотрудников.


Пять принципов, 12 рекомендаций

Хотя рекомендации Консультативного совета не являются обязательными для Министерства обороны, Пентагон принял решение запросить их. Совет провел 15 месяцев, консультируясь с более чем ста экспертами – ​от военных специалистов до предпринимателей в сфере ИИ и юристов-правозащитников. Проводились публичные слушания, обсуждения за круглым столом и даже ролевая игра на основе военной секретной информации, прежде чем были опубликованы пять руководящих принципов.



Рисунок 3. Отдание приказа виртуальному солдату в условиях использования технологий дополненной реальности


Принципы следует процитировать полностью – ​с некоторыми комментариями.

1. Принцип ответственности: люди должны проявлять надлежащий уровень суждения и нести ответственность за разработку, развертывание, использование и результаты работы систем ИИ МО США. Этот принцип является одновременно как более размытым, так и более фундаментальным, чем прямой запрет на то, что называется автономными системами оружия летального действия. Схема могла предположительно позволить использование ИИ, который может самостоятельно принять решение о применении летального оружия против человеческой цели, – ​но люди, которые проектируют и командуют им, будут нести ответственность за любые несчастные случаи и преступления.

2. Принцип справедливости: МО США должно предпринять определенные шаги, чтобы избежать предвзятости при разработке и развертывании боевых или небоевых систем ИИ, которые могут непреднамеренно причинить вред людям. Один из присущих современным системам машинного обучения недостатков состоит в том, что машины учатся, разбирая огромные объемы данных, и если эти данные неверны или систематически изменены каким-либо образом, алгоритм просто отобразит эту ошибку или даже усугубит ее. Экспериментальный ИИ Amazon, например, решил, что, поскольку его база данных текущих сотрудников в основном состоит из мужчин, он должен исключать кандидатов-женщин из процесса найма – ​независимо от их квалификации. Аналогично, процессор обработки изображений Google не понимал, что афроамериканцы – ​тоже люди. Подобные ошибки создают достаточно проблем и в деловом мире, но в военном приложении они могут ошибочно классифицировать невинных гражданских лиц в качестве боевых целей.

3. Принцип отслеживаемости: инженерная дисциплина МО США должна быть достаточно продвинутой, чтобы технические специалисты обладали надлежащим пониманием технологии, процессов разработки и методов работы своих систем ИИ, включая прозрачные и проверяемые методологии, источники данных, а также процедуру проектирования и документацию. Машинное обучение опирается на чрезвычайно сложные математические алгоритмы, которые изменяют себя и видоизменяются в процессе обучения. Накапливаемая масса кодов часто непонятна даже людям, которые эти коды написали, не говоря уже о непрофессионалах. DARPA и спецслужбы дали основной толчок развитию объясняемого ИИ, который может изложить свои критерии для принятия решений способами, понятными его пользователям.

4. Принцип надежности: системы ИИ МО США должны иметь четко определенную область использования, а безопасность и надежность таких систем должны быть проверены и обеспечены на протяжении всего их жизненного цикла в данной области использования. Министерство обороны применяет хорошо зарекомендовавший себя процесс тестирования аппаратного обеспечения, но ПО намного сложнее, потому что оно требует таких частых обновлений, что невозможно определить окончательную конфигурацию для тестирования. ПО для машинного обучения еще сложнее, потому что оно постоянно модифицируется. Некоторые из подобных рекомендаций предлагают изменения в процессе тестирования.

5. Принцип управляемости. Это положение было фактически изменено во время пресс-конференции предприятий американского оборонно-промышленного комплекса в Вашингтоне и требует некоторого уточнения.

Первоначальная формулировка была такова: системы ИИ МО США должны быть спроектированы таким образом, чтобы они выполняли предназначенную им функцию, обладая способностью обнаруживать и избегать непреднамеренного причинения вреда или нарушения функционирования различных систем, а также отключать или деактивировать развернутые системы, демонстрирующие нефункциональную активность. Это не просто призыв к разработчикам «роботов-убийц» предусматривать при проектировании «выключатель». Предполагается, что военный ИИ должен обладать определенной способностью проводить самодиагностику, обнаруживать, когда происходит сбой, и деактивировать все, что вызывает проблему. Для этого требуется уровень осознания себя и окружающей среды, выходящий за рамки существующего ИИ, а прогнозирование возможных непредвиденных последствий затруднено по определению.

В пересмотренной формулировке окончательного определения конференции МО США слово «отключить или деактивировать…» изменилось на более конкретное «автоматическое или ручное отключение или деактивация». Другими словами, решение об отключении может быть принято человеком или машиной.

Представители МО США считают, что они должны иметь возможность обнаруживать проблемы и исправлять их с помощью автоматизированной системы. Данная функция безопасности не обязательно должна представлять собой интеллектуальную автономную систему – ​может использоваться обычное ПО с предсказуемой эвристикой с принятием решений по принципу «если–то». Это обеспечит мониторинг ИИ даже в некоторых случаях отключения аппаратных средств, что делает определенные действия физически невозможными.

Первоначальная формулировка также позволяла человеку «отключать или деактивировать» ошибочное решение системы, но в итоге было сочтено, что слово «человек» должно присутствовать в определении. Сама формулировка нейтральна в отношении того, нужен ли человек, автоматизированная система без ИИ или с ИИ, самостоятельно принимающий решения. Принцип, который поддерживают в МО США, заключается в том, что необходимо иметь метод обнаружения того, что система делает что-то, на что она не запрограммирована.


Freedberg Sydney J. Jr. Ethical AI For War? Defense Innovation Board Says It Can Be Done. Breaking Defense digital magazine, October 31, 2019: https://breakingdefense.сom/2019/10/ethical-ai-for-war-defense-innovation-board-says-it-can-be-done/


ЧИТАЙТЕ ТАКЖЕ

Выпуск 10(6734) от 20 мая 2021 г. г.