Должна ли Германия инвестировать в оружие с искусственным интеллектом?

В России и Украине, а также в других странах, государства инвестируют в системы вооружений, частично управляемые искусственным интеллектом. «Роботы-убийцы» для многих представляются чудовищной идеей, и действительно, они таят в себе значительные опасности. Колумнист по этике Александр Массман о трудном решении.

В Чёрном море в минувшие выходные впервые один беспилотный катер-дрон уничтожил другой — украинский российский. На суше украинские вооружённые силы планируют, что к концу года около трети фронтовых войск будут состоять из беспилотных боевых машин. О решающей роли, которую дроны в воздухе уже сейчас играют в Украине — как на украинской, так и на российской стороне — пишут месяцами. Такая военная техника часто оснащена искусственным интеллектом.

Министерство обороны США в следующем году, как ожидается, выделит около 65 миллиардов евро на программы военных дронов. «Военный министр» Пит Хегсет недавно распрощался с международным правом: моральные и правовые вопросы сдерживают смертоносное насилие, на которое он делает ставку («максимальная летальность, а не тёплая легальность»). С компанией по ИИ Anthropic у него конфликт, потому что она отказывается предоставлять свою технологию для разработки оружия.

В дискуссиях об ИИ боевые роботы — красная тряпка. Недорогие дроны, отчасти управляемые ИИ, подогревают эскалацию войны в Украине, а автоматизированные солдаты-зомби — настоящий кошмарный сценарий. Но какие именно опасности исходят от этой технологии? Часто говорят, что Европа отстаёт в этих разработках. Должны ли Германия и НАТО усиленно инвестировать в боевые системы с ИИ?

Настоящая автономия только для действительно разумных существ

Боевой робот должен быть достаточно разумным, чтобы не действовать самостоятельно и не убивать своих. Чтобы этого не произошло, солдат или солдатка должны дистанционно дать беспилотному дрону приказ взорвать конкретную цель. Таким образом, здесь речь пойдёт почти исключительно о полуавтономных системах вооружений, а не о полностью автономных. Ведь для полностью автономного оружия потребовался бы ИИ, разумный в сильном смысле. Он бы в полном смысле самостоятельно учился, понимал и проявлял творческие способности.

Мы знаем, что ИИ в определённом смысле вполне способны создавать новое и демонстрировать интеллектуальные достижения. Например, программа AlphaGo в 2016 году выиграла несколько партий в настольную игру го у ведущего человеческого игрока. При этом AlphaGo сделала широко обсуждавшийся ход, который эксперты назвали особенно творческим и уникальным. Тем не менее «сильный ИИ» нереалистичен: AlphaGo не понимает, что такое игра, и не может самостоятельно решить, например, вместо го учить другую игру.

Моральные требования к сражающимся

Точно так же машины не смогут действовать морально самостоятельно. Если роботы будут действовать в боевых операциях самостоятельно, они не смогут вести себя настолько разумно, чтобы при этом сохранять моральную целостность искренней солдатской этики. Что человеческие солдаты и солдатки в бою могут действовать с моральной целостностью, я считаю возможным. В крайнем случае это может означать отказ от повиновения. Но такая мораль требует «сильного» интеллекта, нереалистичного для машин. Машины могут выбрать военную цель и нажать на спуск, но что значит уничтожить человеческую жизнь, машины вообще не способны постичь. Настоящая мораль останется чуждой машинам.

Может быть, мораль машин мыслима в «слабом» смысле? Разве нельзя запрограммировать машины так, чтобы они вели себя «как будто» они моральны? Для этого пришлось бы свести мораль к нескольким правилам, которые встроили бы в робота так, чтобы он мог двигаться лишь в узком корсете. Даже нам, людям, одно лишь размышление о моральных вопросах не может полностью подготовить к практической жизни: рано или поздно возникнет новая ситуация, в которой моральное действие нельзя будет однозначно вывести из учебных правил. Непредвиденное положение потребует новой формы действия, сохраняющей солдатскую этику в необычных обстоятельствах.

Предположим, запрограммировали ИИ-дрон самостоятельно стрелять по людям, сражающимся с оружием, но только по тем, кто носит форму противника. В Украине же российские солдаты частично маскируются под гражданских и убивают без разбора как гражданских, так и солдат. Общий приказ на убийство ИИ дать нельзя, и всё же украинские солдаты рассчитывают, что дрон поддержит их в бою. Значит, человек-оператор дрона должен управлять поведением дрона, потому что только он или она может понять и оценить новое поведение врага.

Полуавтономные боевые роботы

Поэтому в вопросе боевых роботов разумнее всего сначала рассматривать только полуавтономные системы. Дрон-камикадзе бросится на вражеский танк только тогда, когда человек-пилот издалека укажет конкретный танк в качестве цели. Лишь после этого дрон будет автономно преследовать цель, и тогда вражеская станция помех, прерывающая связь пилот — дрон, окажется бесполезной. Но прежде чем человек отдаст приказ, дрон не вступает в боевое действие. ИИ-пулемёт, в свою очередь, автономно распознаёт цели и автоматически наводится, но выстрел не произойдёт, если солдат сам не нажмёт кнопку. Система может действовать частично автономно, но для решающего шага нужен человек.

Причина сосредоточения на полуавтономных системах — не страх, что боевые роботы могут выйти из-под контроля. То, что они восстанут против человеческих командиров и установят всеобщее господство роботов над человечеством, я считаю надуманным. Против полностью автономных боевых роботов я выступаю скорее потому, что не удастся научить их морали и они недостаточно разумны. Лицензию на убийство демократическое общество может выдать только в экстремальных ситуациях и при строгих условиях, но то, что роботы будут соблюдать условия, сомнительно.

Инвестировать в боевых роботов?

Растущее применение боевых дронов с ИИ в Украине — тревожная тенденция. Как и применение ИИ Израилем в войне в Газе — об этом ниже. Но дроны относительно дешевы, и нападающий при их использоваии подвергает опасности меньше собственных жизней. Это таит потенциал эскалации гонки вооружений и горячих конфликтов. Но факт также и то, что Россия и Украина, отчасти и другие страны, уже массово продвигают это развитие. Военную помощь России Китай и Иран, вероятно, также получают в обмен на обмен военными знаниями в этой области. США сильно инвестируют как в дроны, так и в ИИ, и Китай следует за ними.

Вот в частных комментариях в социальных сетях то и дело читаешь, что Россия вряд ли ещё может представлять угрозу для Европы, учитывая огромные потери, которые страна несёт в Украине. Но это впечатление, вероятно, обманчиво: применение дронов как раз и позволяет применять военную силу, подвергая опасности меньше собственных солдат. Кроме того, Россия идёт на государственно-террористический конфронтационный курс с Европой, как раз пока терпит неудачи в Украине. И наконец, деэскалация для Путина вряд ли реалистичная возможность.

Многие тысячи травмированных войной ветеранов, возвращающихся в гражданское общество, означали бы сильную дестабилизацию. Российская экономика к тому же давно специализировалась на военном производстве, так что переход к мирной экономике означал бы значительную неопределённость. По словам военного эксперта Карло Мазалы , Путин стремится к росту российской армии до 1,5 миллиона человек, и страна производит ежегодно 600 баллистических ракет и крылатых ракет, а также 300 танков. Было бы легкомысленно полагать, что нам не нужно усиленно инвестировать в технологию дронов.

Выбор целей системами ИИ

Однако инвестиции в системы вооружений с ИИ означают также значительную моральную опасность. Израиль — предостерегающий пример того, как применение полуавтономных систем ИИ может незаметно перерасти в применение фактически автономных систем ИИ. Во время войны в Газе Израиль с помощью службы ИИ под названием Lavender («Лаванда») выявил 37 000 конкретных потенциальных целей для военных авиаударов. Выбор целей Lavender ещё требовал контроля со стороны людей, но один из участвовавших офицеров сказал, что в течение первых месяцев он обычно проверял выбранные цели всего за 20 секунд. Офицеры чувствовали давление: нужно было быстро предоставить достаточное количество целей для бомбардировки настойчивому оперативному руководству, и поэтому они давали добро и кивали.

В начале войны говорили, что 15–20 гражданских смертей приемлемы, если авиаудар одновременно убьёт низкопоставленного функционера ХАМАС. Благодаря важному этапу выбора целей ИИ сделал возможной чрезвычайную бомбардировку. Однако израильская армия отрицает сомнительные методы. По внутренним выборочным проверкам, предсказания ИИ оказались верными в 90% случаев, выбор цели действительно поражал члена ХАМАС. Но этому противоречит заявление офицеров, что ИИ «растрачивает» драгоценные бомбы на относительно безобидных попутчиков ХАМАС.

Иерархия человека и машины переворачивается

В течение первых двух лет войны в Газе Израиль также использовал систему под названием Zayad («Охотник»), которая, по-видимому, ежедневно выявляла около 1 000 потенциальных целей в секторе Газа, всего 850 000 предложений целей. Военные офицеры не могут собственноручно и критически оценить такое количество. Это значит, что в значительной степени израильские военные оставили выбор целей ИИ. Сбрасывая бомбы, человеческие пилоты следовали выбору целей, который им задал ИИ. Тем самым уже не человек контролировал ограниченную систему ИИ. Напротив, иерархия перевернулась: офицеры и солдаты стали исполнительными инструментами, выполнявшими решение ИИ о выборе целей.

Предостерегающий пример Израиля показывает, как легко снижается порог, чтобы предоставлять ИИ всё более широкие полномочия. Противостоять этому развитию — в этом вызов, когда Европа и НАТО всё больше инвестируют в системы ИИ для ведения войны.