Этическая война с автономным оружием вряд ли возможна

ИИ в системах вооружений фундаментально изменил войны. Технический исследователь Ютта Вебер предупреждает о неисчисляемых рисках и требует регулирования: решения о жизни и смерти не должны приниматься на основе неполных данных.

Будь то на Украине, в секторе Газа или в Иране: системы вооружений с искусственным интеллектом (ИИ) уже повсеместны. Как изменилась война с тех пор? И какие этические последствия из этого вытекают? Профессор и эксперт по ИИ Ютта Вебер исследует так называемые человеко-машинные комплексы на протяжении десятилетий.

epd: Госпожа Вебер, в последние дни неоднократно появлялись заголовки о хакерских атаках автономно действующих систем ИИ. После производителя ChatGPT OpenAI также конкурент Anthropic признал бреши в безопасности, которые позволили его ИИ самостоятельно проникать в другие системы. Как вы оцениваете эти инциденты?

Ютта Вебер: ИИ, который действует самостоятельно, хоть и является лишь одной из многих проблем, но, безусловно, одной из самых впечатляющих. Это напоминает голливудское кино, эти старые фильмы «Терминатор». Пробуждаются страхи. Но при этом нужно осознавать: ИИ очень хороши в поиске новых путей эффективным способом. Нарушают ли они при этом правила, определяется тем, что им запрограммировано и насколько четко поставлена задача. Я подозреваю, что в описанных случаях были поставлены неточные задачи.

ИИ принимают решения о жизни и смерти на основе недостаточной базы данных

Значит, в конечном итоге человеческие ошибки позволили ИИ вырваться?

Вебер: В технических исследованиях мы говорим о человеко-машинных комплексах. Трудно однозначно сказать, контролирует ли ситуацию только человек или только машина. У ИИ нет собственной воли. Если ей поставлена задача, она пытается решить её всевозможными способами и выбирает самый эффективный. Поэтому ответственность на человеке — программировать алгоритмы так, чтобы они были ориентированы не только на эффективность, но и соблюдали существующие правила и законы. Часто даже сами программисты не осознают, какие нормы и ценности неявно вписаны в алгоритмы.

Когда вы говорите о нормах и ценностях в связи с искусственным интеллектом: уже сейчас на Украине и в Иране в больших масштабах применяются системы вооружений с поддержкой ИИ. Как это изменило ведение войны?

Вебер: Прежде всего в отношении масштабов разрушений. Вспомните кадры из сектора Газа, там почти ничего не осталось. Израильский журналист и документалист Юваль Авраам провел интервью с солдатами, которые использовали систему целеуказания ИИ Lavender. Он цитирует их так: «Раньше у нас было 70 целей в год, теперь у нас 70 целей в день». ИИ используется не только в дронах, но и в системах принятия решений, и он помогает в поиске целей и обработке данных.

Какие опасности вы в этом видите?

Вебер: Наш мир сложен. И центральная критика технических исследователей, таких как я, и философии на протяжении десятилетий заключается в том, что невозможно адекватно отразить этот сложный мир алгоритмами. На основе недостаточной базы данных в военное время принимаются решения о жизни и смерти. На мой взгляд, это проблематично.

Пример: В первый день ирано-иракской войны была разбомблена школа для девочек, погибли 120 девочек. Очевидно, использовались старые данные. Раньше это была военная зона, но в то время там находилась школа. Кроме того, с обучающимися системами ИИ мы имеем дело с тем, что постоянно меняется. Поэтому на самом деле нужно постоянно заниматься управлением качеством. Это кажется мне невозможным во время войны.

Мирные жители и солдаты как «подопытные кролики»

Сторонники систем вооружений с поддержкой ИИ утверждают, что они принимают более рациональные решения с большей точностью, чем люди, и в конечном итоге это приведет к меньшему числу жертв среди гражданского населения. Может ли война с помощью ИИ стать более этичной?

Вебер: В секторе Газа 83 процента убитых — мирные жители. Где же здесь точность и рациональность? Мне кажется, этическая война с автономным оружием вряд ли возможна. Конечно, люди также принимают неверные решения на войне или нарушают международное право. Но ИИ всегда остается черным ящиком.

Тем временем некоторые производители оружия с гордостью пишут «испытано на Украине» 

Часто только по результату можно понять, какое решение было принято на основе какой информации. Поэтому мирные жители и солдаты на Украине — подопытные кролики. Тем временем некоторые производители оружия с гордостью пишут на своей продукции «испытано на Украине» как предполагаемый знак качества. При этом они экспериментировали с человеческими жизнями, чтобы выяснить, работает ли их дрон.

Министерство обороны Германии несколько дней назад представило так называемую концепцию ИИ на ближайшие годы, с помощью которой министерство и Бундесвер стремятся к «жизнеспособной обороне с помощью искусственного интеллекта». Системы ИИ должны использоваться ответственно и в соответствии с законом в администрации и в военной сфере. Как вы оцениваете эту инициативу?

Вебер: В одном исследовании изучались так называемые военные игры, то есть сценарии военных симуляций, которые используются, в том числе, в военном обучении. Было установлено, что это программное обеспечение в своих сценариях, как правило, склонно к военной эскалации. Поэтому, на мой взгляд, нужно очень внимательно смотреть: какие нормы и ценности вводятся в алгоритмы? Хотим ли мы решать военные конфликты в основном путем эскалации или с помощью дипломатии?

Мне не хватает публичной и политической дискуссии по этому поводу. Десять-пятнадцать лет назад еще активно спорили о применении дронов на войне. Сегодня Бундесвер закупает частично автономные системы в больших масштабах — и это почти не подвергается публичной критике.

«Черный ящик» для автономных систем вооружений?

Как мог бы выглядеть этически ответственный подход к использованию систем вооружений на основе ИИ?

Вебер: Я с трудом могу это представить. В то же время уже нереально запретить автономное оружие, оно слишком вездесуще. Самое важное, на мой взгляд, — это форма верификации, сравнимая с черным ящиком. Если эти вооружения нарушают международное право, должна быть нейтральная инстанция, которая изучает код и алгоритмы и может сделать соответствующие выводы.

Как международное сообщество, мы уже высказались против многих технологий на международном уровне, например, против наземных мин, биологического и химического оружия. Нечто подобное было бы возможно и в отношении автономных систем вооружений. Я просто не вижу политической возможности достичь консенсуса. С 2014 года дважды в год в Женеве на Конвенции о конкретных видах обычного оружия предпринимаются попытки добиться регулирования этих систем. И я могу только сказать: великие державы, включая Германию, США, Россию, Китай и Францию, упорствуют.