Чем рискует человечество, доверяя оружие искусственному интеллекту

• Слишком умная винтовка
• Уже интеллект или еще нет?
• Когда человек опаснее машины
• Средство для военных преступлений

Слишком умная винтовка

Военные вообще с большим подозрением относятся ко всякого рода «думающему» оружию. В 2015 году американская оружейная компания TrackingPoint представила серию умных винтовок Precision Guided Firearms («Высокоточное управляемое оружие»). В снайперские винтовки разных калибров были интегрированы оптическая система с телекамерой и дальномером, набор датчиков, компьютер с баллистическим вычислителем, блок интерфейсов и дисплей, куда выводились изображения с камеры и информация с компьютера.

Работало все это так: стрелок, наблюдая цель на дисплее, наводил на нее прицельную марку (перекрестье) и нажимал кнопку «пометить цель». Компьютер запоминал, куда нужно попасть, замерял дальность и производил расчеты с учетом возможных данных. Далее, когда стрелок нажимал на спуск – нет, выстрел не следовал, – на экране появлялась точка, куда следует навести перекрестье прицела, чтобы пуля гарантированно поразила цель. Лишь когда машина фиксировала максимальное совмещение перекрестья с выбранной точкой, автоматически происходил выстрел.

Винтовки TrackingPoint позволяли среднему стрелку превосходить по результатам опытного снайпера. Так, в ходе специального состязания вдова известного американского снайпера Криса Кайла Тайя Кайл победила многократного чемпиона Национальной стрелковой ассоциации Брюса Пьятта. Стрелки использовали оружие разных калибров, вели огонь стоя, сидя, лежа, по статичным мишеням и по движущимся, с помехами в виде тумана и взрывов. В результате Пьятт поразил примерно 58% целей, Тайя Кайл – 100%.

Казалось бы, интересное решение для военных, пусть на первых порах и весьма дорогое (стоимость первых винтовок начиналась от $15 тыс.). Эксперты уже рассуждали, что и как нужно доработать, чтобы новое изобретение заинтересовало армию и других силовиков: повысить механическую прочность, надежность работы в сложных условиях, снизить стоимость.

Но проблема пришла с другой стороны. По словам американского эксперта по стрелковому оружию Константина Конева, против умной винтовки восстали юристы. Выходило, что де-факто решение о выстреле в системах TrackingPoint принимал не человек, а машина. А что если винтовка ошибется, сделает выстрел не вовремя или не туда – кому отвечать? Военные не слишком любят оружие, которое само решает, когда ему выстрелить. Это напоминает ситуацию с беспилотными автомобилями Tesla: кого винить в случае ДТП – условного водителя или производителя техники?

Уже интеллект или еще нет?

Один из главных вопросов в случае возможного использования искусственного интеллекта в военном деле: кто отдает приказ о применении оружия? Кто нажимает кнопку, и на ком лежит ответственность в случае ошибки? Тем более что речь пойдет не о винтовке, а о системах, способных уничтожать разом десятки и сотни человек. Потенциально оснащаться ИИ могут ударные беспилотные летательные аппараты (БПЛА), барражирующие боеприпасы (они же дроны-камикадзе), наземные и морские боевые роботы, системы управления огнем и даже автоматизированные системы управления войсками.

«Юридически совершенно непрозрачная ситуация, – считает старший научный сотрудник Центра международной безопасности Института мировой экономики и международных отношений (ИМЭМО) Константин Богданов. – Допустим, машина отдала приказ на применение летального оружия и сделала это неправомерно. Кого винить – разработчика, составившего неправильный или непрозрачный алгоритм, или оператора, допустившего неправомерное применение?».

На выходе мы получаем «юридический клинч»: операторы говорят, что система выполнена непрозрачно и ее правила самообучения неясны; разработчик утверждает, что провел все необходимые тесты, а алгоритмы работы ИИ – это секретная информация, которая не может быть раскрыта.

Самое интересное заключается в том, что до сих пор нет даже общепринятого определения смертоносной автономной системы вооружения (САС) – так называют летальное оружие, оснащенное ИИ. В дорожной карте по беспилотным системам минобороны США от 2013 года САС определены как «роботизированные системы вооружения, которые после приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора». Такая же формулировка звучала в ООН.

Но под столь размытое определение попадают не только БПЛА, наземные и морские необитаемые аппараты, а также барражирующие боеприпасы. Сюда можно отнести абсолютно все виды оружия с высокоавтоматизированными процессами поиска и наведения на цель, способные автономно маневрировать и атаковать выбранный объект без внешнего управления.

Например, ракеты, оснащенные головками самонаведения типа «воздух–воздух», «земля–воздух», противокорабельные ракеты типа «Оникс» и даже ракеты противотанковых комплексов типа «Джавелин» (Javelin). Притом что в действительности их к САС никто не относит.

Часть экспертов утверждают, что обязательный признак ИИ – это возможность самообучения. С другой стороны, многие беспилотники уже сейчас могут выполнять сложные задачи без связи с оператором: скажем, потеряв канал связи с оператором, они при помощи GPS и оптических датчиков выходят из района действия и возвращаются на базу. Это уже интеллект или еще нет? Ответов на такие вопросы пока нет.

Контуры контроля

Главная формула военных, использующих умное оружие, звучит так: машина должна находиться под контролем людей. Существует три так называемых контура принятия решений:

1. Человек находится внутри контура (Man in the loop) – система только подсказывает оператору, когда лучше нажать кнопку.

2. Человек над контуром (Man over the loop) – система сама находит цель, проводит расчеты и наносит удар, но оператор наблюдает за ней и в любой момент может ее остановить.

3. Человек вне контура (Man out of the loop) – система полностью автономна, а оператор выключен из принятия решений. На сегодня данная схема считается идеологически неверной.

Но реальный контроль над умной системой возможен лишь при условии, что он будет осуществляться еще на стадии разработки и производства.

Когда человек опаснее машины

В отношении умного оружия действует непреложное правило: человек непременно должен находиться в «контуре управления» боевой системы. Иными словами, он либо сам «нажимает кнопку», либо может отменить решение, принятое машиной.

Проблема в том, что возможности самого человека воспринимать и обрабатывать информацию весьма ограниченны. По этому навыку мы уже не в разы, а на порядки проигрываем машинам.

Темпы цифровизации оружия таковы, что от водителя танка требуется такой же психофизический функционал, как от пилота истребителя. Научный редактор отдела по связям с общественностью «Уралвагонзавода» Сергей Устьянцев в одной из своих лекций рассказал, что данная проблема обозначилась еще в 1980-х, с появлением танка Т-80. «Была такая история. В танк Т-80 случайно забрался летчик, и он взвыл: такое количество приборов, такое количество информации, как вы солдат обучаете?» – вспоминал эксперт. В итоге даже подготовленные танкисты могли использовать возможности новой машины только на 20%, как ни тренируй. Для получения наилучших результатов требовался специальный отбор людей, способных мгновенно оперировать информацией в цейтноте боя. Водителем танка Т-14 «Армата», к слову, тоже не может быть случайный, неподготовленный человек.

Теперь представим современные боевые машины, объединенные в т. н. сетецентрическую систему, когда помимо информации с собственных приборов командир танка в режиме онлайн получает данные с других машин, с разведывательных беспилотников. Информацию он должен мгновенно обработать и принять единственно верное решение, потому что ошибка будет означать смерть. Способен человек эффективно справиться с этим?

Другой пример: в 2022 году на салоне Airshow China в Джухае китайская компания China Electronics Technology Corporation (CETC) представила установку по запуску барражирующих боеприпасов. Она напоминает систему залпового огня с пакетом из 48 или 18 ракет. Только вместо неуправляемых ракет она запускает рой умных дронов-камикадзе. Каждый из них способен выискивать цель за десятки километров от места пуска, идентифицировать ее и наносить удар. Смогут ли один или даже два оператора управиться с этим роем?

Скорее всего, нет, считает Константин Богданов. Представьте, идут интенсивные боевые действия, операторы часами смотрят на мониторы, и тут экспертная система им говорит: за лесополосой находится танк противника, вероятность 78%. Станет оператор это проверять? Почти наверняка нет, он просто утвердит параметр, предложенный компьютером. Подобные исследования, по словам эксперта, проводились с операторами высокоавтоматизированных ЗРК (зенитно-ракетных комплексов), производящих определение целей, их селекцию и т. д. «Практика показывает, что операторы просто утверждают предложенный системой вариант действий, полагая, что он правильный, а в большинстве случаев так и есть», – говорит Богданов.

Вспомним также, что человек подвержен эмоциям и может не справиться с нервным напряжением. На военно-воздушной базе «Крич» в США (Creech Air Force Base) исследовали психологическое состояние операторов, управляющих разведывательно-ударными БПЛА Reaper («Жнец»). Оказалось, что многие из них испытывают травматическое стрессовое расстройство, подобное тому, что наблюдается у солдат на поле боя. Казалось бы, эти люди сидят в тылу, перед мониторами, не видят оторванных конечностей, разбросанных внутренностей, а максимум чем рискуют – объесться пиццей. И тем не менее это так. И вот у оператора на фоне стресса что-то переклинивает в голове, и мы имеем неправомерное применение летального средства. Чей контроль в итоге более безопасен – ИИ или человека? Ответа, увы, пока не найдено.

Средство для военных преступлений

По словам Константина Богданова, есть группы экспертов и военных, утверждающих, что машина не подвержена психологическим срывам и эмоциям. Если в нее заложить верные алгоритмы, она всегда будет воевать по правилам. Но вот беда: правила ведения войны не кодифицируются. Потому что законы войны или международное гуманитарное право основано на обычае. Так называемая оговорка Мартенса (принцип права вооруженных конфликтов, принятый на II Гаагской конвенции 1899 года) гласит: если что-то не прописано, то войну следует вести в соответствии с установившимся обычаем и моральными нормами, принятыми между цивилизованными народами.

Вряд ли мы сегодня сможем точно определить, что это за нормы. Кадры, как оборудованный сбросом гранат БПЛА «Мавик» охотится за раненым солдатом или за группой бойцов, пытающихся эвакуировать раненого с поля боя, стали новой реальностью. А в машинный разум представления об обычаях и моральных нормах не уложатся в принципе. То есть боевые системы с искусственным интеллектом вряд ли смогут быть настроены на следование законам войны. Можно запретить машинам выполнять определенные действия, но это снизит их эффективность. Если же указания будут расплывчаты, машина совершит военное преступление.

Еще существует проблема «спихивания ответственности». По мнению Богданова, «правильно запрограммированный робот – это идеальное средство совершения военных преступлений». Допустим, какая-то группа намерена совершить убийство гражданских лиц. Злоумышленники смогут воспользоваться автономной системой оружия, а после оправдываться, мол, она сама так решила. В простейшем варианте это ракета, сбившаяся с курса. Но если говорить о роботах, способных применять оружие, то в определенных ситуациях, убежден собеседник «Профиля», их будут целенаправленно программировать или ставить в определенные условия для совершения неправомерных действий.

Ну и последнее. У самообучающихся систем могут сформироваться алгоритмы решений, не сводящихся к человеческой логике. Уже около десяти лет, рассказывает Константин Богданов, прорабатываются теоретические модели, которые показывают, что самообучающаяся машина на основе собственного опыта способна совершать действия, необъяснимые для человека. «Подумала, состыковала несколько входных и выходных параметров, и на основании этого применила оружие, – поясняет эксперт. – Абсолютно непрозрачный момент. Даже не с юридической точки зрения, а с логической». В истории человечества еще не было проблемы по контролю над вооружениями с таким количеством разнородных факторов.

Умный беспилотник в руках террористов

Увы, но умные беспилотники могут стать эффективным оружием для совершения террористических актов. Уже сейчас есть готовые платформы, которые в городских условиях способны действовать без канала связи с оператором и при подавленном сигнале GPS.

Системы, установленные на беспилотниках, позволяют им ориентироваться в трехмерном лабиринте, т. е. в высотной застройке.

Такой БПЛА имеет на борту цифровую карту, может сопоставлять объекты, которые видит, с данными этой карты и таким образом прокладывать нужный маршрут. Сбить его можно только из антидронового ружья либо пытаться ловить сачком.