Исследование подтверждает, что ChatGPT ужасен в предоставлении медицинских консультаций

Каждый шестой взрослый американец хотя бы раз в месяц обращается к ChatGPT за медицинской консультацией. Спойлер: это плохая идея.

Новое исследование Оксфордского университета подтверждает то, о чем ваш врач говорит уже несколько месяцев — чат-боты с искусственным интеллектом совершенно не способны помочь людям разобраться в реальных проблемах со здоровьем. Это хуже, чем просто поискать свои симптомы в Google.

«Несмотря на весь ажиотаж, искусственный интеллект просто не готов взять на себя роль врача», — говорит Ребекка Пейн, руководившая исследованием в Оксфорде. «Пациенты должны понимать, что спрашивать большую языковую модель о своих симптомах может быть опасно, так как это может привести к неверному диагнозу и неспособности распознать, когда нужна срочная помощь».

Исследователи дали почти 1300 людям реалистичные сценарии здоровья — похмельная головная боль, усталость молодой мамы, симптомы желчных камней — а затем дали им свободу действий с ChatGPT, Meta's Llama 3, Command R+ или просто обычным Google.

Пользователи ИИ правильно определили свое «состояние» только в трети случаев. Они правильно определили следующий шаг (скорая помощь? неотложная помощь? выспаться?) менее чем в половине случаев. Что касается пользователей Google - буквально аналогичный результат.

А вот и кульминация: эти же чат-боты блестяще сдают экзамены на получение медицинской лицензии. Они могут пройти тесты, предназначенные для врачей. Но поставьте их в ситуацию, когда они общаются с реальным человеком, который в 2 часа ночи в панике ищет в Google симптомы? Полная катастрофа.

Проблема не в медицинских знаниях ИИ — проблема в том, что люди не умеют общаться. Мы не даем чат-ботам всю необходимую информацию. Мы неправильно понимаем их ответы. Мы просто игнорируем их советы. Симулированные сценарии с пациентами, которые ИИ с легкостью проходит в тестах, не соответствуют реальной панике и неполной информации.

И вот в чем дело: мы слишком доверяем технологии, которая явно не готова к этому. ChatGPT звучит уверенно и авторитетно, что заставляет легко ему доверять — даже когда он явно ошибается. Но уверенность — это не то же самое, что компетентность, а когда речь идет о здоровье людей, ставки высоки.

Если ИИ не может достоверно помочь вам понять, нужно ли вам принять Адвил или обратиться в скорую помощь, стоит задаться вопросом, какие еще важные жизненные решения мы передаем чат-ботам. Советы по отношениям? Вопросы воспитания детей? Этические дилеммы? Финансовое планирование? ИИ может быть полезен для мозгового штурма или систематизации информации, но относиться к нему как к всезнающему оракулу — особенно при принятии важных решений — это риск, на который мы пока не готовы пойти.

«Это очень важное исследование, поскольку оно подчеркивает реальные медицинские риски, которые чат-боты представляют для общественности», — говорит Дэвид Шоу, биоэтик из Маастрихтского университета, который не участвовал в исследовании.

Перевод: вопрос ChatGPT «это родинка странная?» может на самом деле навредить вам. Бот может упустить что-то важное. Или он может заставить вас беспокоиться по пустякам.

Совет Шоу? Оставайтесь при реальных медицинских источниках — таких как сайт NHS, если вы в Великобритании, или Mayo Clinic, если вы в США. Или, идея по-настоящему смелая: позвоните своему врачу.

По мере того как ИИ становится все более распространенным (и, честно говоря, более убедительным), все больше людей будут испытывать соблазн отказаться от платы за лечение и спросить совета у своего телефона. Это исследование является напоминанием: ChatGPT может звучать уверенно, но это не делает его квалифицированным. Ваше здоровье заслуживает большего, чем чат-бот, играющий в доктора.