Искусственный интеллект приходит в самый опасный момент

На этой неделе на конференции Пентагона по воздушным, космическим и кибернетическим силам произошло нечто экстраординарное.

Впервые Соединенные Штаты публично признали, что разместили оружие на орбите.

Министр военно-воздушных сил Трой Мейнк сообщил конференции в Нэшнл-Харбор, штат Мэриленд, что Америка развернула «орбитальное оружие космического контроля, способное защитить Объединенные силы от враждебных действий противника». Два дня спустя председатель Объединенного комитета начальников штабов генерал Дэн Кейн предупредил, что американские войска должны быть готовы «сражаться, выдерживать и побеждать» от «морского дна до окололунного пространства».

Подумайте, что еще происходит почти в тот же самый момент.

Война России против Украины продолжается, а дроны меняют облик поля боя; Reuters сообщает, что сами оборонные чиновники НАТО признают, что альянс с трудом поспевает за тем, чему научилась Украина. Затянувшийся конфликт с Ираном истощил запасы боеприпасов США и союзников. Вашингтон и Пекин готовятся к важному саммиту, даже когда их конкуренция в области ИИ усиливается. А некоторые из тех, кто создает самые мощные в мире системы ИИ, предупреждают, что развитие может опережать меры предосторожности.

Обычно эти события рассматриваются как отдельные истории. Так быть не должно.

Вместе они указывают на тревожную реальность: искусственный интеллект приходит как усилитель силы именно тогда, когда международная система уже находится под чрезвычайным напряжением.

Величайшая ближайшая опасность ИИ может заключаться не в научно-фантастическом сценарии, где машины восстают против человечества. Она может заключаться в том, что произойдет, когда все более способные машины ускорят мир, уже борющийся с войной, истощенными арсеналами, орбитальной конкуренцией и недоверием между ядерыми державами.

Расширение поля боя, сокращение времени на размышление

Когда-то армии сражались на суше, флоты — на море; XX век добавил воздух, затем киберпространство. Теперь космос безошибочно присоединяется к ним.

Это признание не делает войну на орбите неизбежной, но показывает, насколько расширилась конкуренция, поскольку Китай и Россия разрабатывают собственные возможности для угрозы американским спутникам. Украина остается отрезвляющей лабораторией того, как быстро технологии могут изменить войну: недорогие дроны бросили вызов оружию, тактике и циклам закупок, рассчитанным на более медленно меняющееся поле боя.

Соединенные Штаты обладают extraordinary военной мощью, но не безграничными ресурсами. Конфликт с Ираном обнажил эту истину: Пентагон ускоряет производство ракет, потому что недавние боевые действия истощили важные запасы.

Искусственный интеллект входит в этот мир не как изолированная технология, а как ускоритель.

ИИ обещает командирам более быструю обработку, быстрое распознавание образов, более оперативную поддержку решений. Скорость имеет значение на войне. Но скорость — не мудрость. И когда замешаны ядерные державы, более быстрая ошибка не обязательно становится меньшей.

На этой неделе на пекинском форуме безопасности «Сяншань» военные чиновники и эксперты обеих стран предупредили, что ИИ может повысить риск в уже ухудшающейся среде безопасности, поскольку передовые технологии сжимают время, доступное для стратегических решений. Американские и китайские эксперты по безопасности предложили нечто примечательное: меры предосторожности в стиле ядерных для военного ИИ — защита систем ядерного командования от вмешательства ИИ, сохранение за людьми контроля над consequential кибератаками и создание горячей линии для кризисов, связанных с ИИ.

Ни одно правительство не приняло эти предложения. Но подумайте, почему они обсуждаются: неоднозначный инцидент с ИИ может оставить лидерам считанные минуты, чтобы решить, столкнулись ли они с атакой, ошибкой машины или чем-то средним.

Во время холодной войны американские и советские лидеры поняли, что сдерживание требует большего, чем оружие — он требует времени для связи, проверки и оценки того, означает ли предупреждение атаку или ошибку. Искусственный интеллект угрожает сжать этот ресурс: мы расширяем географию войны, сокращая время для суждения.

Затем наступает гонка ИИ

Вот почему спор о замедлении ИИ нельзя отделить от геополитики. Генеральный директор Anthropic Дарио Амодеи призвал сдерживать развитие на переднем крае, чтобы меры предосторожности могли догнать. Пекин услышал другое: китайская государственная Global Times назвала его предложение «сценарием холодной войны», предназначенным для сохранения технологического преимущества Америки при ограничении доступа Китая к передовым технологиям.

В этом и заключается ловуша. Американские разработчики могут опасаться, что технология опережает меры предосторожности; американские политики могут опасаться, что замедление позволит Китаю обогнать нас. Китайские лидеры могут сделать зеркальный расчет — каждый признает реальный риск, но приходит к выводу, что большая опасность — позволить другому первым достичь переднего края. Результат — стратегический парадокс: сдержанность может быть разумной коллективно, но казаться опасной индивидуально. Так технологическая конкуренция приобретает логику гонки вооружений — динамику, которую я подробно рассматриваю в «Новой холодной войне ИИ».

Интеллект — не мудрость

Здесь дебаты становятся больше, чем технологическими или геополитическими. Они становятся глубоко человеческими.

Писание никогда не определяет мудрость как обработку большего объема информации быстрее. Оно связывает мудрость с проницательностью, благоразумием, советом и моральной ответственностью. ИИ может в конечном итоге обрабатывать данные поля боя быстрее любого живого командира. Но расчет — не мудрость. Предсказание — не благоразумие. Скорость — не моральный авторитет.

Машины не несут моральной ответственности. Люди несут. Это различие становится все более urgent, поскольку правительства сталкиваются с искушением делегировать решения машинам именно потому, что машины решают быстрее. Настоящий вопрос не в том, технически ли человек «в цикле», а в том, достаточно ли у этого человека времени, информации и полномочий для осуществления суждения. Командир, которому даны лишь секунды для утверждения рекомендации машины, может технически оставаться частью процесса — но вопрос в том, осуществил ли он значимое суждение, — это совсем другое дело.

Вопрос, которого Трамп и Си не могут избежать

Это делает предстоящую встречу президента Дональда Трампа и председателя КНР Си Цзиньпина, запланированную на 24 сентября в Вашингтоне, более значимой, чем очередной раунд споров о чипах и торговле.

Никакой саммит не положит конец конкуренции в области ИИ, и американцам не следует воображать, что глубокие разногласия Вашингтона и Пекина можно отменить желанием. Но соперники могут признавать общие опасности, не становясь друзьями. Обе страны заинтересованы в том, чтобы ИИ никогда самостоятельно не вмешивался в ядерное командование, не предпринимал consequential военных действий или не превращал неоднозначный инцидент в кризис, прежде чем лидеры поймут, что произошло — именно те меры предосторожности, которые сейчас предлагают американские и китайские эксперты.

Это не потребовало бы от Америки отказаться от своего технологического преимущества или от Китая — отказаться от своих амбиций. Это потребовало бы от обоих правительств признать нечто более фундаментальное: некоторые решения слишком consequential, чтобы передавать их машинам.

Мир не нуждается в более быстрой глупости

Писание предлагает предупреждение, подходящее для этого момента: «Желание без знания не хорошо, и кто спешит ногами, тот сбивается с пути» (Притчи 19:2, ESV). Благоразумие — не слабость. Оно также не требует от Америки отказаться от технологического лидерства — опасный мир по-прежнему требует силы, инноваций и способности сдерживать противников. Но сила без суждения становится собственной уязвимостью.

Украина все еще горит. Иран все еще потребляет ресурсы. Космос теперь оспариваемая территория. И искусственный интеллект обещает заставить всю систему двигаться быстрее.

Миру не хватает интеллекта. Ему не хватает времени для мудрости.

Это может быть настоящим испытанием эпохи ИИ — не то, насколько разумными станут наши машины или какая нация первой достигнет переднего края, а то, сможет ли человеческая мудрость по-прежнему успевать за миром, который эти машины ускоряют.

Первоначально опубликовано в The Washington Stand.