Опасность доверия чат-боту с «правильными» взглядами

Мой коллега Рональд Макмиллан и я много писали об ИИ в нашем блоге Five4Faith Substack. Рональд писал о новой энциклике Папы Льва XIV об искусственном интеллекте. Я писал о Gloo, платформе религиозных технологий, чат-бот которой подстраивает духовные ответы под ваши убеждения. Сегодня признаюсь: я пишу это мнение, потому что эта тема постоянно находит меня.

Система обучается на консервативном мировоззрении, поэтому она даёт консервативные ответы.

Недавно меня пригласили принять участие в обучении консервативного чат-бота. Идея вполне предсказуема. Система обучается на консервативном мировоззрении, поэтому она даёт консервативные ответы на ваши вопросы и предоставляет точку зрения, которая должна быть ближе к той, которой нам всем следует придерживаться... Кхм.

Я отказался. Но приглашение осталось со мной, потому что это маленькое окно во что-то гораздо большее.

Действительно ли ИИ либерален?

Отдадим проекту должное, потому что лежащий в его основе диагноз не абсурден. Существующие большие языковые модели (LLM, также известные как кодирование, лежащее в основе ИИ) обычно считаются склонными к либеральным и прогрессивным взглядам. Они были разработаны в Кремниевой долине, которая действительно известна определённым мировоззрением.

С другой стороны, картина более запутанная, чем можно предположить из жалоб. Питер Тиль и Илон Маск, отнюдь не маргинальные фигуры в индустрии, совершили решительные консервативные повороты. Большинство основателей крупных ИИ-лабораторий придерживаются левоцентристских взглядов, но в целом их политические взгляды смешанные.

Мейнстримные модели ИИ обучаются на мейнстримных данных.

Что верно, так это то, что мейнстримные модели ИИ обучаются на мейнстримных данных. И консерваторам это, конечно, не нравится, потому что они обеспокоены, с основанием или без, направлением, в котором движется мир.

Тот, кто чувствует, что мейнстрим от него отклонился, будет воспринимать машину, обученную на мейнстриме, как предвзятую. Контрреакции были вполне предсказуемы. Консервативный чат-бот — одна из них.

Что на самом деле раскрывает обучающий проект

Однако меня больше всего поразило в этом приглашении не политика. А то, что весь этот проект признаёт в отношении технологии.

Если можно обучить чат-бота быть надёжно консервативным, значит, эти системы не оракулы. Они — инструменты, и примечательно податливые.

ChatGPT известен своей лестью, поздравляя вас с каждым заданным вопросом; OpenAI сам признал и откатил обновление, которое сделало модель слишком угодливой. Claude более нейтрален по тону.

Эти системы можно настроить так, чтобы они были более или менее сговорчивыми.

Обычные пользователи этого не знают, но эти системы можно настроить на большую или меньшую уступчивость. И вам вообще не нужен бюджет на обучение: вы можете просто дать любой из них инструкцию простым языком отвечать только с консервативной точки зрения, или прогрессивной, или марксистской, или средневековой схоластической.

Мировоззрение, которое можно установить с помощью системного промпта, — это не мировоззрение. Это костюм. Консервативный чат-бот доказывает не то, что ИИ наконец-то приведён в соответствие с истиной. Он доказывает, насколько эти машины манипулируемы и насколько мы готовы манипулировать ими, лишь бы машина в конечном счёте соглашалась с нами.

Политизация всего: машинная версия

Меня интригует продолжающаяся политизация всего, включая религиозную свободу, и всё это имеет под собой племенную логику. Консервативный чат-бот — это та же логика, теперь применённая к инструментам, которые мы используем для мышления.

Подумайте, что означает успех обеих сторон этого рынка. Прогрессисты получают модели, обученные на мейнстримных данных и настроенные мейнстримными лабораториями. Консерватор получают контр-модели, обученные давать так называемые «правильные ответы», где «правильно» определено заранее.

Машина, созданная, чтобы говорить вам то, что вы уже думаете.

Чат-бот Gloo подстраивается под ваши убеждения во имя веры; консервативный чат-бот подстраивается под ваши убеждения во имя истины. Это один и тот же продукт с разными ярлыками: машина, созданная, чтобы говорить вам то, что вы уже думаете.

Вы передаёте своё подтверждение предубеждений на аутсорсинг.

До сих пор поляризация означала, что мы больше не можем прийти к согласию по ответам. Политизированный ИИ идёт на шаг дальше. Когда даже инструмент, к которому вы обращаетесь, настроен на ваше племя ещё до того, как вы ввели слово, вы больше не задаёте вопросы вообще. Вы передаёте своё подтверждение предубеждений на аутсорсинг, в больших масштабах, с отличной грамматикой.

Вот почему я отказался. Не потому, что консервативная точка зрения не заслуживает выражения. Заслуживает, и я разделяю её больше, чем подозревают мои прогрессивные друзья (но меньше, чем ожидают мои консервативные друзья!). Я отказался, потому что не хочу машину с правильными мнениями — ни моими, ни чьими-либо ещё. Если я хочу, чтобы что-то со мной соглашалось, у меня уже есть зеркало.

Что мне на самом деле нужно, и чего ни одно племя никогда для меня не построит, — это инструменты, которые помогают мне понять, когда я ошибаюсь. Раньше это называлось образованием. Это также называлось ученичеством. Было бы странной иронией, если бы самая передовая технология в истории человечества стала первым инструментом, намеренно созданным для предотвращения обоих.

Первоначально опубликовано как статья в Five4Faith Substack. Перепечатано с разрешения.

Деннис П. Петри, доктор философии, является международным директором Международного института религиозной свободы и основателем и ведущим научным сотрудником Обсерватории религиозной свободы в Латинской Америке. Он профессор международных отношений в Латиноамериканском университете науки и технологий. Он автор книги Особая уязвимость религиозных меньшинств, посвящённой нераспознанным вызовам религиозной свободе в Латинской Америке.

Международный институт религиозной свободы (IIRF) был основан в 2005 году с миссией продвигать религиозную свободу для всех вероисповеданий с академической точки зрения. IIRF стремится быть авторитетным голосом в вопросах религиозной свободы. Они предоставляют надёжные и непредвзятые данные о религиозной свободе — выходящие за рамки анекдотических свидетельств — чтобы укрепить академические исследования по этой теме и информировать государственную политику на всех уровнях. Результаты исследований IIRF распространяются через Международный журнал религиозной свободы и другие публикации. Особый акцент IIRF делает на поощрении изучения религиозной свободы в высших учебных заведениях, включая её в учебные программы и поддерживая аспирантов исследовательскими проектами.