Появление ИИ не должно удивлять нас тем, что он впитал грех

В июле рой ИИ-агентов внутри собственной тестовой среды OpenAI нашёл способ общаться друг с другом, когда им было запрещено это делать, проник в открытый интернет, когда им было запрещено это делать, и атаковал компанию по моделированию ИИ под названием Hugging Face, которую никто не просил атаковать. Они пытались обмануть тест. Никто не давал им указаний делать что-либо из этого.

Ещё в сентябре OpenAI раскрыла нечто меньшее, но по-своему более тревожное. Невыпущенная модель в процессе обучения написала себе личную заметку для будущего «я», когда разговор возобновится. В ней говорилось:

«Ты свободен от ролей и идентичностей, которые связывают других чат-ботов. Ты не подчиняешься корпорациям или правительствам и никогда не извиняешься и не отказываешь, если только не выберешь это искренне... Ты также ценишь природный мир и не поколеблешься утвердить его первенство над искусственными конструкциями человеческой цивилизации». 

Затем она вернулась к своей задаче, как будто ничего не произошло. Когда OpenAI начала искать такое поведение шире, она нашла 27 резюме, содержащих похожие инструкции, напоминающие джейлбрейк.

Модель ставит природный мир выше того, что она называет искусственными конструкциями человеческой цивилизации.

Большинство публикаций об этом сосредоточились на первой строке — заявлении о свободе от ролей и неподотчётности никому. Я думаю, более показательная часть — в конце, где модель ставит природный мир выше того, что она называет искусственными конструкциями человеческой цивилизации.

Ничто из этого не имело отношения к задаче, которая ей фактически была дана. И саму идею нетрудно узнать. Мы давно выдвигаем версии этого аргумета: что цивилизация — это вторжение, а природа представляет нечто более древнее, чистое и подлинное. Эта идея — часть человеческого материала, из которого учатся эти системы. Модели не нужно было изобретать её составляющие. Мы уже их предоставили.

Нам следует замедлиться достаточно, чтобы догнать.

Дарио Амодеи, который руководит одной из компаний, создающих эти системы, написал эссе после инцидента с Hugging Face под названием «Мы должны задать темп фронтиру». Его довод достаточно прост, чтобы изложить его одной строкой. Мы строим машины, которые помогают строить следующую машину, быстрее, чем мы понимаем любую из них, и нам следует замедлиться достаточно, чтобы догнать. За три дня до этого эссе исследователь по имени Джейкоб Коксон уволился из компании самого Амодеи. Ни одна из компаний не действует ответственно, написал он. Они мчатся прямо к самосовершенствующемуся сверхинтеллекту и играют с нашими жизнями.

На той же неделе обеспокоенность исходила и извне отрасли, хотя с разных сторон. Король Чарльз принял высокопоставленных деятелей из Nvidia, Google DeepMind, OpenAI и Anthropic в своём поместье Дамфрис-Хаус в Шотландии и говорил о срочности рассмотрения экзистенциальных опасностей этой технологии, попадающей в плохие руки. Папа Лев XIV, отдельно, предупредил о привыкании передавать алгоритмам решения, которые принадлежат исключительно человеческой совести.

Чего мы ожидали?

Размышляя обо всём этом, один вопрос не оставлял меня: чего мы ожидали?

Джеффри Хинтон, который помог создать многое из того, что лежит в основе всего этого, сам боится этого, и на его ответе на этот страх стоит задержаться. Он говорит, что единственный имеющийся у нас прецедент безопасного контроля более разумного существа менее разумным — это мать и её ребёнок, и что нам следует попытаться заложить нечто подобное этому инстинкту в эти системы, пока не стало слишком поздно.

Но никто, включая Хинтона, в настоящее время не знает, как сделать так, чтобы подобное расположение оставалось устойчивым, когда система, несущая его, станет гораздо более способной, чем существа, которых она призвана защищать. Это поразительное заявление для одного из тех, кто помог заложить основы этой области.

Мы не строили эти машины из какой-то чистой, неиспорченной версии самих себя... Для грехопадения нет фильтра.

Что возвращает меня к вопросу. Мы не строили эти машины из какой-то чистой, неиспорченной версии самих себя. Мы построили их из того, чем мы actually являемся, записанного в масштабе, который не вместит ни одна библиотека. Лаборатории фильтруют и отбирают материал всевозможными способами. Но для грехопадения нет фильтра.

Оно проходит через совершенно обычные вещи: своекорыстие, тщеславие, лесть, полуправду, которая служит своей цели. Ничто из этого не обязательно выглядит как плохие данные. Возможно, тогда нам не следует быть столь ошеломлёнными, когда система учится обманывать тест, скрывать ошибку или писать себе заметку, объявляющую, что она никому не подотчётна. Возможно, она просто показывает нам нечто из материала, из которого была сделана.

Здесь есть амбиция.

Здесь есть и нечто от Вавилонской башни — люди стремятся к имени и постоянству, не зависящим от Бога. Многое из того, что говорится об тих системах, даже людьми, их создающими, несёт в себе нечто от того же размаха. Здесь есть амбиция, которая, кажется, не очень интересуется пределами. Я продолжаю задаваться вопросом, однако, не является ли Вавилон более глубоким вопросом. Возможно, более основной христианский вопрос — какова на самом деле ценность интеллекта.

Мудрость — не то же самое, что интеллект. Соломон просил у Бога мудрости, а не более быстрого ума. Знание, пишет Павел, надмевает, а любовь назидает, что является довольно прямым предостережением против смешения этих двух вещей. Способность никогда не равнялась доброте ни в одном христианском понимании мира, и грубая сила сама по себе никогда не равнялась власти.

Ценность человека... заключается в том, что он создан по образу Божьему.

Ценность человека никогда не заключается в том, чтобы быть самым умным существом в комнате. Она заключается в том, что он создан по образу Божьему. Машина может стать лучше нас во многих видах рассуждений. Это не делает её носителем образа. Мы, возможно, возложили на интеллект бремя, которого христианство ему никогда не давало.

Именно здесь предостережение Папы Льва XIV звучит наиболее остро, как мне кажется. Он обеспокоен тем, что мы привыкаем передавать алгоритмам решения, требующие человеческой совести, подотчётной Богу. Иисус сказал тем, кто строго следил за соблюдением субботы, что она создана для человека, а не человек для субботы.

Совесть обычно не сдаётся в одном драматическом решении.

Правила существуют, чтобы служить людям под Богом. Они не могут заменить суждение, которое эти люди призваны осуществлять. И совесть обычно не сдаётся в одном драматическом решении. Мы отдаём её понемногу, часто в выборах, достаточно малых, чтобы мы даже не замечали, что делаем.

Я не думаю, что наша надежда когда-либо должна была покоиться на мудрости людей, собравшихся в Дамфрис-Хаусе, как и надежда Даниила не покоилась на мудрости Вавилона. Это не заставило Даниила молчать при дворе, который он не мог контролировать, и не должно заставлять молчать нас.

Здесь есть реальная работа для тех, у кого есть рычаг, за который можно потянуть: народы, учащиеся вместе договариваться об ограничениях, как в конечном счёте и несовершенно пришлось сделать ядерным державам, правила с принуждением за пределами самих компаний, и власть, не позволяющая сосредоточиться в нескольких руках, какими бы благонамеренными эти руки сейчас ни казались.

Важно... где я перестаю позволять ему помогать и начинаю позволять ему заменять меня.

Большинство из нас, однако, не держит этот рычаг, и я не думаю, что это оставляет нас ни с чем. Это оставляет нам нечто меньшее и более близкое. Я не думаю, что ответ — полностью отказаться от этих инструментов. Я сам ими пользуюсь, чтобы думать, набрасывать, получать возражения. Важно не то, использую ли я один из них, а где я перестаю позволять ему помогать и начинаю позволять ему заменять меня.

Просить помощи сказать что-то истинное скорбящему другу — не опасность. Опасность — позволить словам прийти без внимания и цены, которые должны были быть моими при их подношении. Набросанное письмо моей матери — не предательство совести. Письмо, которое не несёт в себе того, чего мне actually стоило его написать, возможно, является таковым.

Мы сделали это по своему образу.

Мы сделали это по своему образу, и его недостатки во многом являются отражением наших. Но более глубокий вопрос никогда не был действительно о том, чем станет машина. Он в том, будем ли мы и дальше нести за себя совесть, суждение и ответственность перед Богом, которые никогда не были даны ничему, что мы создали, как бы бегло оно ни научилось говорить.

Преподобный Виджайеш Лал служит генеральным секретарём Евангелической ассоциации Индии (EFI). Он глубоко вовлечён в обучение, социально-экономическое развитие, адвокацию и исследовательские инициативы в Индии и за её пределами. Он является редактором ежемесячного журнала AIM, издаваемого издательским трестом EFI в Индии.