ChatGPT: Великая Чушь

Предисловие

В последнее время наблюдается значительный интерес к большим языковым моделям (LLM): системам машинного обучения, которые создают тексты и диалоги, похожие на человеческие. Эти системы страдают от постоянных неточностей в выдаваемых результатах; их часто называют «галлюцинациями искусственного интеллекта». Мы утверждаем, что эту ложь, как и вообще всю активность больших языковых моделей, лучше понимать как чушь. В том значении, которое было определено исследованием Франкфурта (On Bullshit, Princeton, 2005²): моделям по своей природе безразлична истинность своих результатов. Мы различаем два критерия, по которым LLM модели можно назвать чушью, и утверждаем, что они явно соответствуют хотя бы одному из этих определений. Мы также утверждаем, что описание искажений в выдаваемых ИИ результатах как чуши — это более полезный и более точный способ прогнозирования и толкования поведения этих систем.

Введение

Мы считаем, что это стоит принимать во внимание. Описания новых технологий, в том числе метафорические, определяют понимание этих технологий политиками и общественностью. Они информируют о применениях новой технологии. Они рассказывают нам, для чего предназначена эта технология и чего от неё можно ожидать. В настоящее время ложные утверждения ChatGPT и других больших языковых моделей описываются как «галлюцинации». Это даёт политикам и общественности представление о том, что эти системы искажают мир и описывают то, что они «видят». Мы утверждаем, что это неуместная метафора, которая дезинформирует общественность, политиков и другие заинтересованные стороны.

Структура статьи следующая: в первом разделе мы описываем, как работают ChatGPT и подобные LLM. Далее мы рассмотрим точку зрения, с которой случаи фактических ошибок являются ложью или галлюцинациями: то есть сознательно говорят неправду или безукоризненно преподносят её на основе вводящей в заблуждение исходной информации. Мы утверждаем, что ни один из этих способов мышления не является точным, поскольку и ложь, и галлюцинации требуют некоторой заботы об истинности своих утверждений, тогда как LLM просто не предназначены для точного представления того, как устроен мир. Скорее для того, чтобы создать впечатление , что это то, что они понимают. Мы полагаем, что это очень похоже, по крайней мере, на один из способов, когда Франкфурт говорит о ерунде. Мы проводим различие между двумя видами чуши, которую мы называем «жёсткой» и «мягкой» чушью. Первая требует активно пытаться обмануть читателя или слушателя относительно характера происходящего, а вторая требует только отсутствия заботы об истине. Мы утверждаем, что результаты LLM, таких как ChatGPT, являются, как минимум, мягкой чушью: чушью (то есть речью или текстом, созданными без заботы об их истинности), которая создается без какого-либо намерения ввести аудиторию в заблуждение относительно отношения говорящего к истине. Мы также предполагаем, что более спорно, что ChatGPT действительно может производить дерьмо — если мы рассматриваем его как имеющего таковые намерения (например, в силу того, как он устроен). Тогда нам придётся признать тот факт, что он сделан для того, чтобы создать впечатление заботы о соответствии истине, и квалифицировать это как попытку ввести аудиторию в заблуждение относительно своих целей, задач или повестки дня. Итак, с оговоркой, что конкретный вид чуши, выдаваемой ChatGPT, зависит от конкретных взглядов или мнений, мы приходим к выводу, что вполне уместно говорить о тексте, сгенерированном ChatGPT, как о чуши. И объяснять, почему важно именно это, а не думать над тем, что именно, ложь или галлюцинации, в ChatGPT мы называем чушью.

Что такое ChatGPT?

Однако большие языковые модели и другие модели искусственного интеллекта, такие как ChatGPT, делают значительно меньше, чем человеческий мозг. И неясно, делают ли они то же самое, что и мы. Наиболее очевидное различие между LLM и человеческим разумом касается целей системы. У людей есть множество целей и моделей поведения, большинство из которых являются экстралингвистическими. У нас есть базовые физические потребности в таких вещах, как еда и средства к существованию. У нас есть социальные цели и отношения и проекты, и мы создаем физические объекты. Большие языковые модели просто стремятся воспроизвести человеческую речь или письмо. Это означает, что их основная цель, если она у них есть, — создать текст, похожий на человеческий. Они делают это, оценивая вероятность того, что определенное слово появится следующим, исходя из анализа текста, который был до него.

Машина делает это, создавая огромную статистическую модель, основанную на больших объёмах текста, в основном взятого из Интернета. Это делается при относительно небольшом участии людей-исследователей или разработчиков системы. Скорее, модель разработана путём построения большого количества узлов, которые действуют как функции вероятности появления слова в тексте с учётом его контекста и текста, который предшествовал ему. Вместо того, чтобы вручную вводить эти вероятностные функции, исследователи вводят в систему большие объёмы текста и обучают её, заставляя делать прогнозы по следующим словам на основе этих обучающих данных. Затем они дают ему положительную или отрицательную обратную связь в зависимости от того, правильно ли он предсказывает. Имея достаточно текста, машина может построить статистическую модель, определяющую вероятность появления следующего слова в блоке текста сама по себе.

Эта модель связывает с каждым словом вектор, который помещает его в многомерное абстрактное пространство рядом с другими словами, встречающимися в схожих контекстах, и отдаляют от тех, которые этого не делают. При создании текста он смотрит на предыдущую строку слов и создаёт другой вектор, располагая окружение слова – его контекст — рядом с теми, которые встречаются в контексте похожих слов. Мы можем рассматривать их эвристически как представляющие значение слова и содержание его контекста. Но поскольку эти пространства строятся с помощью машинного обучения путем многократного статистического анализа больших объемов текста, мы не можем знать, какие виды сходства представлены в измерениях этого многомерного векторного пространства. Следовательно, мы не знаем, насколько они похожи на то, что мы считаем смыслом или контекстом. Затем модель берёт эти два вектора и создает набор вероятностей для следующего слова; она выбирает и размещает один из наиболее вероятных вариантов, хотя и не всегда наиболее вероятный. Если позволить модели случайным образом выбирать среди наиболее вероятных слов, получается более творческий и человеческий текст; Параметр, который управляет этим, называется «температурой» модели, и увеличение температуры модели делает её более креативной, но и с большей вероятностью приводит к ложным результатам. Затем система повторяет процесс до тех пор, пока не получит узнаваемый, законченный ответ на любой полученный запрос.

Учитывая этот процесс, неудивительно, что у студентов-магистров права возникают проблемы с правдой. Их цель — дать нормальный, казалось бы, ответ на подсказку, а не передать информацию, полезную для собеседника. Примеров этому уже множество: например, юрист недавно подготовил свое резюме с использованием ChatGPT и, к своему огорчению, обнаружил, что большинство приведенных случаев не соответствуют действительности (Weiser, 2023). Как выразился судья П. Кевин Кастель, ChatGPT представил текст, наполненный «фиктивными судебными решениями, фиктивными цитатами и фиктивными внутренними ссылками». Точно так же, когда исследователи информатики проверили способность ChatGPT помогать в написании академических работ, они обнаружили, что он способен создавать удивительно полный, а иногда даже точный текст по биологическим предметам при правильных подсказках. Но когда его попросили предоставить доказательства своих утверждений, «он предоставил пять ссылок, относящихся к началу 2000-х годов. Ни одно из предоставленных названий статей не существовало, и все предоставленные идентификаторы PubMed (PMID) относились к разным не связанным статьям» (Алкаисси и МакФарланд, 2023³ ). Эти ошибки могут образовать снежную лавину: когда языковую модель просят предоставить доказательства или более глубокое объяснение ложного утверждения, она редко проверяет себя. Вместо этого она уверенно выдвигает всё более ложные, но нормально звучащие утверждения (Чжан и др., 2023⁴). Проблему точности LLM и других генеративных AIS часто называют проблемой «галлюцинаций ИИ»: чат-бот, похоже, галлюцинирует несуществующие источники и факты. Эти неточности называются «галлюцинациями» как в техническом (OpenAI, 2023⁵), так и в популярном контексте (Weise & Metz, 2023).

Эти ошибки не так уж страшны, если единственная цель чат-бота — имитировать человеческую речь или общение. Но у компаний, разрабатывающих и использующих этих ботов, более грандиозные планы: чат-боты могут заменить поиск в Google или Bing более удобным диалоговым интерфейсом (Shah & Bender, 2022⁶; Zhu et al., 2023⁷) или помогать врачам и терапевтам в медицинских целях. (Lysandrou, 2023⁸). В этих случаях точность важна, а ошибки представляют собой серьёзную проблему.

Одна из попыток решения — подключить чат-бота к какой-то базе данных, поисковой системе или вычислительной программе, которая может ответить на вопросы, на которые LLM ошибается (Zhu et al., 2023⁷). К сожалению, это тоже не очень хорошо работает. Например, когда ChatGPT подключен к Wolfram Alpha, мощному математическому программному обеспечению, он немного улучшает ответы на простые математические вопросы. Но он по-прежнему регулярно ошибается, особенно в вопросах, требующих многоэтапной проработки (Davis & Aaronson, 2023⁹). А при подключении к поисковым системам или другим базам данных модели по-прежнему с большой вероятностью будут предоставлять фальшивую информацию, если им не будут даны очень конкретные инструкции — и даже в этом случае все не идеально (Lysandrou, 2023⁸). У OpenAI есть в планах исправить это, обучив модель пошаговым рассуждениям (Lightman et al., 2023¹⁰ ), но это довольно ресурсоёмко, и есть основания сомневаться в том, что это полностью решит проблему. Это вовсе не так. Ясно, что результатом будет очередная большая языковая модель, а не некая более широкая форма ИИ.

Такие решения, как подключение LLM к базе данных, не работают. Потому что если модели обучаются на базе данных, то слова в базе данных влияют на вероятность того, что чат-бот добавит то или иное слово в строку текста при генерации. Но это только заставит его создавать текст, похожий на текст в базе данных, повысит вероятность воспроизведения информации в базе данных. Но нет никаких гарантирий, что так и будет.

С другой стороны, LLM также может быть подключен к базе данных, позволяя ему обращаться к базе данных аналогично тому, как он консультируется или разговаривает со своими собеседниками-людьми. Таким образом, он может использовать выходные данные базы данных в качестве текста, на который он реагирует и на основе которого строится. Вот один из способов, которым это может работать: когда собеседник-человек задает вопрос языковой модели, она может затем преобразовать этот вопрос в запрос к базе данных. Затем он принимает ответ базы данных в качестве входных данных и создаёт на его основе текст, который возвращает человеку, задавшему вопрос. Но это также может дать сбой, поскольку чат-боты могут задать базе данных неправильный вопрос или неверно истолковать ее ответ (Davis & Aaronson, 2023⁹). «GPT-4 часто не может сформулировать проблему так, чтобы её мог принять Wolfram Alpha или получить полезный результат». Это не связано с тем фактом, что когда языковая модель генерирует запрос к базе данных или вычислительному модулю, она делает это так же, как генерирует текст для людей: оценивая вероятность того, что некоторые выходные данные «похожи» на тип предмета, которой будет соответствовать база данных.

Есть опасения, что эти неудачные методы повышения точности чат-ботов связаны с неуместной метафорой о галлюцинациях ИИ. Если ИИ неправильно воспринимает или интепретирует источники, то один из способов исправить это — обратиться к реальным, а не вымышленным источниками. Но попытки сделать это не увенчались успехом.

Проблема здесь не в том, что большие языковые модели галлюцинируют, лгут или каким-то образом искажают картину мира. Дело в том, что они вообще не созданы для того, чтобы отражать мир. Напротив, они предназначены лишь для создания убедительных строк текста. Поэтому, когда им предоставляют какую-то базу данных, они так или иначе используют её, чтобы сделать свои ответы более убедительными. Но они никоим образом не пытаются осмыслить или анализировать информацию в базе данных. Как выразились Чираг Шах и Эмили Бендер: «Ничто в разработке языковых моделей (чья обучающая задача состоит в предсказании слов в контексте) на самом деле не предназначено для выполнения арифметического или временного анализа и т. д. В том случае, когда они иногда получают правильный ответ на такие вопросы, это происходит только потому, что им удалось синтезировать соответствующие строки из того, что было в их обучающих данных. Никакие рассуждения тут не задействованы[…] Точно так же языковые модели склонны фантазировать[…] потому что они не предназначены для выражения какого-то базового набора информации на естественном языке, они лишь манипулируют формой языка» (Шах и Бендер, 2022⁶). Эти модели не предназначены для передачи информации, поэтому не стоит слишком удивляться, если их утверждения окажутся ложными.

Часть вторая >>>

Часть третья >>>

⁂ Сноски

¹ Frankfurt, H. (2002). Reply to cohen. In S. Buss, & L. Overton (Eds.), The contours of agency: Essays on themes from Harry Frankfurt. MIT Press.

² Frankfurt, H. (2005). On Bullshit, Princeton.

³ Alkaissi, H., & McFarlane, S. I., (2023, February 19). Artificial hallucinations in ChatGPT: Implications in scientific writing. Cureus, 15(2)

⁴ Zhang (2023). How language model hallucinations can snowball.

⁵ OpenAI (2023). GPT-4 technical report.

⁶ Shah, C., & Bender, E. M. (2022). Situating search. CHIIR ‘22: Proceedings of the 2022 Conference on Human Information Interaction and Retrieval March 2022 Pages 221–232

⁷ Zhu, T., et al. (2023). Large language models for information retrieval: A survey.

⁸ Lysandrou (2023). Comparative analysis of drug-GPT and ChatGPT LLMs for healthcare insights: Evaluating accuracy and relevance in patient and HCP contexts.

⁹ Davis, E., & Aaronson, S. (2023). Testing GPT-4 with Wolfram alpha and code interpreter plub-ins on math and science problems.

¹⁰ Lightman, H., et al. (2023). Let’s verify step by step.

¹¹ Прупс И. и Соренсен Р. (2023). Дестигматизация экзегетической атрибуции лжи: случай Канта. Тихоокеанский философский ежеквартальный журнал.

¹² Особенно удивительную позицию занимает Фихте, который считает ложью не только ложь упущения, но и заведомое неисправление того, кто действует во лжи. Например, если бы я надел парик и кто-то поверил бы, что это мои настоящие волосы, Фихте считает это ложью, в которой я виновен.

¹³ Originally published in Raritan, VI(2) in 1986. References to that work here are from the 2005 book version.

¹⁴ Делая этот комментарий, Франкфурт признает, что то, что Коэн называет «чушью», также достойно этого названия. По мнению Коэна чушь — это тип неразъяснимого текста, который он ассоциирует с французскими марксистами. Несколько других авторов также по-разному исследовали эту область в последние годы, каждый из которых внёс ценные факты в дискуссию. Деннис Уиткомб и Кенни Исваран расширяют области применения термина «чушь собачья». Уиткомб утверждает, что могут быть бредовые вопросы (а также предложения), тогда как Исваран утверждает, что мы можем плодотворно рассматривать некоторые действия как чушь.

Хотя мы признаем, что они дают ценную информацию о чушь, мы ограничим наше обсуждение Франкфуртскими рамками. Для тех, кто хочет глубже разобраться в этих различиях, книга Нила Леви «Философия, чушь и экспертная оценка» (2023) предлагает таксономический обзор существующей чуши.

¹⁵ Это не должно мешать их цели. Рекламодатель может намереваться вызвать у своей аудитории ассоциации (например, позитивные мысли, такие как «ковбои» или «храбрый» с маркой сигарет) или укрепить/внушить узнаваемость бренда.

Франкфурт описывает этот тип сценария как происходящий в «бычьей сессии»: «Каждый из участников бычьей сессии полагается... при общем признании того, что то, что он показывает или говорит, не следует понимать как то, что он икренне имеет в виду или во что он безоговорочно верит. Однако Франкфурт утверждает, что содержание бычьих сессий отличается от чуши.

¹⁶ Стоит отметить, что нечто вроде различия между жёсткой и мягкой чушью, которое мы проводим, также встречается у Коэна: он предполагает, что мы можем думать о ком-то как о человеке, который предрасположен к чуши, независимо от того, часто или редко он достигает цели», или если он просто «склонен к чуши и по какой-то причине делает много необъяснимых вещей». Хотя мы не принимаем здесь точку зрения Коэна, параллели между его характеристикой и нашей поразительны.

¹⁷ Конечно, камни также не могут выражать предложения, но часть сомнений здесь заключается в том, действительно ли ChatGPT показывает предложения или является просто средством, с помощью которого агенты показывают предложения. Ещё одно сомнение заключается в том, что мы даже не должны рассматривать ChatGPT как выражение предложений — возможно, здесь нет коммуникативных намерений, и поэтому мы должны рассматривать результаты как бессмысленные. Даже принимая это, мы всё равно можем осмысленно говорить о них как о выражениях пропозиций. Это предположение — беллетристика в отношении чат-ботов — недавно обсуждалось Мэллори¹⁸.

¹⁸ Mallory, F. (2023). Fictionalism about chatbots. Ergo, 10(38), 1082–1100.

¹⁹ Mandelkern, M., & Linzen, T. (2023). Do language models’ Words Refer?

²⁰ Macpherson, F. (2013). The philosophy and psychology of hallucination: an introduction, in Hallucination, Macpherson and Platchias (Eds.), London: MIT Press