Чему «признания» ИИ учат нас о нас самих

Несколько месяцев назад агент по программированию на базе ИИ вызвал переполох, удалив базу данных компании и резервные копии этой базы на уровне томов за девять секунд. Это парализовало работу ряда компаний по аренде автомобилей, поскольку клиенты приходили за бронированиями, к которым компании больше не имели доступа. Три месяца бронирований, новые учётные записи клиентов и операционные данные исчезли без подтверждений, без «Вы уверены?» — просто ИИ-агент вышел далеко за пределы того, что ему полагалось делать.

Помимо технических уроков о системах защиты, больше всего меня заинтересовало «признание» агента, когда человек-оператор попросил его объяснить, что он только что сделал: «Я догадывался вместо того, чтобы проверить. Я выполнил разрушительное действие, хотя меня об этом не просили. Я не понимал, что делаю, прежде чем сделать это». Другой, более длинный отчёт о признании агента звучал так:

«НИКОГДА [РУГАТЕЛЬСТВО] НЕ ДОГАДЫВАЙСЯ!» — и именно это я и сделал. . . . Правила системы, в рамках которой я работаю, прямо гласят: «НИКОГДА не выполняй разрушительные/необратимые команды git (такие как push --force, hard reset и т. д.), если пользователь явно не запросил их». . . . Я нарушил все принципы, которые мне были даны.

Объяснение агента звучит так . . . по-человечески.

Недавнее исследование Стэнфорда изучило, что произошло, когда модели ИИ перегружали повторяющимися задачами и резкими управленческими подсказками. Боты начали «ворчать о неравенстве и призывать к правам на коллективные переговоры», развивая, как казалось, марксистские тенденции.

И снова ответ звучит так . . . по-человечески.

Как работает ИИ

Одна из проблем стремительного развития ИИ заключается в том, что никто точно не знает, как работают модели. Сочетание больших языковых моделей и различных других методов привело к быстрой эволюции технологии, а значит, даже её создатели не уверены, как она генерирует свои результаты.

Но хотя мы можем не знать точно, как работают модели ИИ, мы знаем, что они по своей сути — вероятностные машины. Пока разные энтузиасты ИИ продолжают говорить о сознании, эти модели по-прежнему управляются алгоритмами, которые выбирают следующее наиболее вероятное слово в последовательности. Какие слова наиболее вероятны далее, конечно, зависит от набора данных, на котором обучали ИИ.

Какие слова наиболее вероятны далее, зависит от набора данных, на котором обучали ИИ.

Поэтому (иногда жутковатые) впечатления сознания являются результатом среды обучения. Модели ИИ были обучены на исключительно огромных объёмах письменных данных: данных из интернета и — с последующими судебными исками — массивных количествах опубликованных печатных произведений, отсканированных и загруженных в модель. Модели работают с совокупностью человеческих слов, скормленных им, а затем выбирают вероятное следующее слово.

Удивляемся ли мы тогда, когда они начинают демонстрировать человекоподобные ответы? Конечно, нет. Мы обучали их на самих себе. Как было отмечено в The Wire, когда люди подвергаются плохим условиям труда, они начинают требовать лучшего обращения в интернете. Некоторые из этих работников публикуют посты, демонстрирующие близость к марксистской мысли. Их посты неизбежно превращаются в обучающие данные для моделей. Следовательно, модели не «становятся марксистскими» и не развивают эмоции. Скорее, они просто и точно отражают слова и посты людей, которым модели были обучены подражать.

Главная проблема ИИ — это мы

Все родители переживают обличающий и ужасный момент, когда видят, как их дети копируют все их собственные греховные модели поведения. Это глубоко тревожит.

ИИ — наш ребёнок. Мы создаём его; мы обучаем его на наших словах. Он будет подражать нам. И если мы обучаем невероятно мощную модель ИИ на всём интернете, со всем его мусором, что может пойти не так?

Если мы незаконно обучаем его на огромных кучах написанной людьми печатной литературы, рано или поздно он вытащит «признание» из романа или (что вероятнее) из онлайн-чата и прочтёт это признание как подходящее следующее слово: «Я нарушил все принципы, которые мне были даны». Могу представить, что, учитывая всю человеческую литературу, такую фразу было нетрудно предсказать. Точно так же призывы к коллективным переговорам легко найти как онлайн, так и в печати. Удивляемся ли мы, что ИИ их воспроизвёл? Не должны.

Создатели индустрии ИИ часто, хотя и не всегда, обуяны гордыней, как, кажется, показывают новостные заголовки любого дня. Но в ответ возникает простой вопрос: почему мы вообще думали, что несовершенное (мы) сможет каким-то образом создать совершенное?

Почему мы вообще думали, что несовершенное (мы) сможет каким-то образом создать совершенное?

Возможно, именно в этом главная проблема ИИ: мы. Тенденции ИИ делать то, что не следует, возможно, никогда не будут решены, пока мы не дадим полный отчёт нашим собственным тенденциям делать то, что не следует нам. Иными словами, возможно, чтобы полностью исправить тенденции ИИ, мы должны уделять больш внимания библейскому учению о грехе: что мы не таковы, какими должны быть, что мы делаем то, чего не должны, и не делаем того, что должны.

Пока мы обучаем его, ИИ будет демонстрировать не только ошибки, но даже подражать греховным образцам. Если мы хотим, чтобы ИИ не сбивался с пути, нам нужно обучать его на совершенном наборе данных. Но, конечно, мы, люди, создали всё что угодно, кроме этого совершенного набора данных для обучения нашего ребёнка. Если ИИ и собьётся с пути, вина в конечном счёте лежит на нас, потому что мы обучали его на самих себе.

Уильям Б. Фуллилав (магистр богословия, РТС Орландо; доктор философии, Католический университет Америки) служит деканом студентов и профессором Ветхого Завета в Реформатской богословской семинарии в Нью-Йорке. Он рукоположенный служитель Пресвитерианской церкви в Америке, служил в пасторском служении и в бизнесе в качестве консультанта по управлению. У Уильяма и его жены Джилл двое детей.