ChatGPT: Великая Чушь-3

ChatGPT — это чушь

С учётом вышприведённых различий мы теперь можем рассмотреть следующий вопрос: является ли ChatGPT жёсткой чушью, мягкой чушью или ни тем, ни другим? Во-первых, мы будем утверждать, что ChatGPT и другие LLM — явно мягкая чушь. Однако вопрос о том, являются ли эти чат-боты жёсткой чушью, является более сложным и зависит от ряда сложных вопросов, касающихся того, можно ли приписать ChatGPT намерения. Мы рассмотрим несколько способов, которыми можно понять, что ChatGPT имеет необходимые намерения в разделе 3.2.

ChatGPT — это мягкая чушь

А что, если у ChatGPT есть намерения? В разделе 1 мы утверждали, что ChatGPT не предназначен для создания истинных высказываний, скорее, он предназначен для создания текста, неотличимого от созданного людьми. Его цель — быть убедительным, а не точным. Базовая архитектура этих моделей показывает, что они предназначены для создания вероятного продолжения текстовой строки. Разумно предположить, что один из вероятных способов продолжения текста — это быть правдивым. Если люди в какой-то мере точнее, чем случайность, истинные предложения будут более вероятны, чем ложные. Это может сделать чат-бот более точным, чем случайность, но это не даёт ему никакого намерения передавать правду. Это похоже на стандартные случаи недалёких людей, которых не волнует, правдивы ли их высказывания. Качественная чушь часто содержит некоторую долю правды, и это отчасти делает её убедительной. Чушь может быть точнее случайности, оставаясь при этом безразличной к правдивости своих высказываний. Мы пришли к выводу, что, даже если чат-боту можно приписать намерения, ему безразлично, правдивы ли его высказывания. Он не заботится и не может заботиться об истинности своих результатов.

Справедливо предположит, что ChatGPT не может заботиться о передаче или сокрытии правды, поскольку его это вовсе не заботит. Таким образом, с точки зрения концептуальной необходимости, это соответствует одному из критериев чуши Франкфурта. Однако это только заводит нас в дебри: камень тоже ни о чём не заботится, и было бы совершенно абсурдно предполагать, что это означает, что камни — это чушь.¹⁷ Точно так же книги могут содержать чушь, но сами они не являются чушью. В отличие от камней или даже книг, ChatGPT сам создаёт текст и выглядит так, будто выполняет речевые действия независимо от пользователей и дизайнеров. И хотя существуют значительные разногласия относительно того, имеет ли ChatGPT намерения, широко распространено мнение, что предложения, которые он производит, (обычно) осмысленны (см., например, Mandelkern and Linzen, 2023¹⁹).

ChatGPT работает не для того, чтобы сообщать правду или ложь, а, скорее, для того, чтобы убедить читателя – если использовать меткую терминологию Кольберта – в правдивости своего утверждения. И ChatGPT спроектирован таким образом, чтобы попытаться сделать чушь эффективной (чего ручки, словари и т.п. не делают). Итак, похоже, что ChatGPT — это, как минимум, мягкая чушь: если считать, что у него нет намерений, то нет и попыток ввести в заблуждение относительно отношения к истине. Но тем не менее он выдаёт высказывания, которые выглядят так, словно они правдивы. Мы приходим к выводу, что ChatGPT — это мягкая чушь.

ChatGPT — это жёсткая чушь

Мы считаем, что это слишком урощённо. Во-первых, независимо от того, обладает ли ChatGPT статусом агента или нет, его создатели и пользователи им обладают. И мы утверждаем — то, что они производят с его помощью, является чушью. Во-вторых, мы утверждаем, что, независимо от наличия у него статуса агента, у него есть функция. Эта функция даёт ему характерные цели и, возможно, даже намерения, которые соответствуют нашему определению жёсткой чуши.

Прежде чем двигаться дальше, мы должны сказать, что имеем в виду, когда спрашиваем, является ли ChatGPT агентом. Для целей данной статьи главный вопрос заключается в том, имеет ли ChatGPT намерения или убеждения. Намерен ли он обманывать? Можно ли в буквальном смысле сказать, что у него есть цели или задачи? Если да, то намерен ли он обманывать нас относительно содержания своих высказываний или просто хочет казаться компетентным оратором? Есть ли у него убеждения - внутренние репрезентативные состояния, целью которых является отслеживание истины? Если да, то соответствуют ли его высказывания этим убеждениям (в этом случае его ложные утверждения могут быть чем-то вроде галлюцинаций). Или же его высказывания не соответствуют убеждениям – в этом случае они, скорее всего, являются либо ложью, либо чушью? Более подробно мы рассмотрим эти вопросы в следующем разделе.

Есть и другие философски важные аспекты агентивности, которые мы не будем тут рассматривать. Мы не будем рассматривать вопрос о том, принимает ли ChatGPT решения, обладает или не обладает автономией или сознанием. Мы также не будем рассматривать, несёт ли ChatGPT моральную ответственность за свои высказывания или действия (если что-то из этого у него есть).

ChatGPT — это генератор чуши

Мы утверждаем, что даже если ChatGPT сам по себе и не является жёсткой чушью, тем не менее, это машина для генерации чуши. Бредогенератор, равно как и человек, использующий его, поскольку он (1) не заботится об истинности того, что он говорит, (2) хочет, чтобы читатель поверил тому, что выводит приложение. С точки зрения Франкфурта, чушь есть чушь, даже если она произнесена непреднамеренно. Если что-то изначально является чушью, то повторение этого «является чушью, поскольку он повторяет это, поскольку оно было создано кем-то, кого не заботит правда или ложь то, что он говорил» (Frankfurt, H. (2002). Reply to cohen. In S. Buss, & L. Overton (Eds.) стр. 340).

Однако это просто возвращает нас к тому, кто является автором: возьмём (всё более часто встречающийся) пример студенческого эссе, созданного ChatGPT. Если бы студент заботился о точности и правдивости, он бы не использовал программу, печально известную тем, что придумывает источники данных. Так же, как если они дадут ему задание написать научное эссе по философии, и он выдаст рецепт пирогов Бэйкуэлл, то толку от этого не будет. Таким образом, идея ChatGPT как генератора чуши кажется верной. Но в то же время в ней чего-то не хватает: в конце концов, кто-то может создавать чушь, используя свой голос, ручку или текстовый процессор, но мы обычно не думаем об этих вещах как о бредогенераторе, или будет содавать чушь любым другим экзотическим способом – и наоборот, в ChatGPT, похоже, есть что-то особенное, связанное с тем, как он работает, что делает его больше, чем просто инструментом. И что позволяет предположить, что он может соответствующим образом считаться создателем чуши. Короче говоря, не совсем правильно, пожалуй, думать о ChatGPT как об аналоге ручки (может использоваться для всякой ерунды, но не может ничего создать без преднамеренных и полностью управляемых агентом действий), ни как о человеке, говорящем чушь (который может намереваться и говорит чушь по собственной инициативе).

Идея ChatGPT как машины для генарации чуши полезна в сочетании с различием между чушью жёсткой и мягкой. Снова обратимся к примеру хитроумной студенческой работы: мы все, насколько я понимаю, замечали статьи, в которых было очевидно, что словарь или тезаурус использовались ошеломительно топорно, где слова за пятьдесят долларов используются не потому, что это лучший выбор, и даже не потому, что они служат для сокрытия истины, а просто потому, что автор хочет создать впечатление понимания и утончённости. В данном случае было бы неуместно назвать словарь хулиганом, но также было бы неуместно назвать результат бредом. Так что, возможно, нам следует буквально говорить не о том, что ChatGPT — это чушь, а о том, что он выводит чушь таким образом, что это выходит за рамки простого вектора чуши: его не заботит и не может волновать истинность его вывода. И человек, использующий его, делает это не для того, чтобы передать правду или ложь, а для того, чтобы убедить слушателя в том, что текст был написан заинтересованным и внимательным человеком.

ChatGPT может быть полным брехлом

Сам ChatGPT — брехло? Если это так, то у него должны быть намерения или цели: он должен намереваться обмануть своего слушателя не в отношении содержания своих заявлений, а в отношении своей повестки. Вспомните, что закоренелых болтунов, таких как неподготовленный студент или некомпетентный политик, не волнует, правдивы или ложны их заявления. Но они намеренно обманывают свою аудиторию относительно того, что они делают. Мы не думаем, что ChatGPT является агентом или имеет намерения точно так же, как люди. Но если говорить в общих чертах, то очень легко использовать язык намерений для описания: что пытается сделать ChatGPT? Имеет ли его значение, является ли текст, который он создаёт, точным? Мы будем утверждать, что существует чёткая, хотя, возможно, и не буквальная, цель, где ChatGPT действительно намерен обмануть нас относительно своих намерений. Его цель — не убедить нас в истинности содержания своих высказываний, а изобразить из себя «нормального человека», такого же собеседника, как и мы. В том, что, ChatGPT выдумывает, лжёт или галлюцинирует, наоборот нет такой же явной цели.

Возьмём простой случай: основная функция ChatGPT — имитация человеческой речи. Если эта функция является преднамеренной, то это именно то намерение, которое требуется агенту, чтобы вести себя как заядлый трепач: выполняя эту функцию, ChatGPT пытается обмануть аудиторию относительно своей программы. В частности, он пытается выглядеть чем-то имеющим определенное мнение, хотя во многих случаях это не так. Здесь мы обсудим, порождает ли эта функция намерение или её лучше всего рассматривать как имеющееся намерение. В следующем разделе мы будем утверждать, что ChatGPT не имеет подобной функции или намерения, которое оправдывало бы название его фантазёром, лжецом или галлюцинатором.

Откуда мы знаем, что ChatGPT действует как завзятое трепло? Такие программы, как ChatGPT, созданы для выполнения определённой задачи, и эта задача удивительно похожа на то, что, по мнению Франкфурта, имеет в виду этот трепач. А именно обмануть читателя относительно природы происходящего — в данном случае обмануть читателя, заставив его думать, что он читает нечто созданное существом с намерениями и убеждениями.

Алгоритм создания текста ChatGPT был разработан и отточен в процессе, очень похожем на искусственный отбор. Функции и процессы выбора имеют ту же направленность, что и человеческие намерения, философы-натуралисты уже давно связали их с интенциональностью психических состояний человека и животных. Если ChatGPT понимается как имеющий намерения или состояния, подобные намерениям, то его намерение состоит в том, чтобы представить себя определённым образом (как диалоговый агент или собеседник), а не предоставлять и передавать факты. Другими словами, у него есть намерения, которые мы ассоциируем с жёсткой чушью.

Один из способов думать о том, что ChatGPT имеет намерения, — это принять преднамеренную позицию Деннета по отношению к нему. Деннетт описывает интенциональную позицию как способ прогнозирования поведения систем, цель которых мы ещё не знаем.

«Принять интенциональную позицию […] значит решить – предварительно, конечно – попытаться охарактеризовать, предсказать и объяснить […] поведение, используя интенциональные идиомы, такие как «верит» и «хочет», практика, которая предполагает или предполагает рациональность» целевой системы (Dennett, D. C. (1983). Intentional systems in cognitive ethology: The panglossian paradigm defended : 345).

Деннетт предполагает, что если мы знаем, зачем была спроектирована система, мы можем делать прогнозы на основе её конструкции. Хотя мы знаем, что ChatGPT был разработан для общения, его точный алгоритм и способ выдачи ответов были разработаны с помощью машинного обучения. Поэтому мы не знаем точных подробностей того, как он работает и что он делает. При таком незнании возникает соблазн ввести предвзятые запросы, которые помогут нам понять и предсказать, что делает ChatGPT.

Когда мы примем предвзятую позицию, то мы будем делать плохие прогнозы, если будем приписывать ChatGPT какое-либо желание говорить правду. Аналогичным образом приписывание ChatGPT «галлюцинаций» приведёт нас к прогнозированию с допущением того, что он воспринимает несуществующие вещи, в то время как то, что он делает, гораздо больше похоже на что-то выдуманное, потому что это звучит правильно. Первое намеренное приписывание желаний или целей заставит нас попытаться исправить его убеждения и зафиксировать его входные данные — стратегия, которая имела ограниченный успех, если вообще его имела. С другой стороны, если мы припишем ChatGPT намерения заядлого трепача, мы сможем лучше диагностировать ситуации, в которых он будет совершать ошибки и выдавать ложь. Если ChatGPT и пытается что-то сделать, то лишь изобразить себя как личность.

Поскольку эта причина считать ChatGPT заядлым брехуном включает в себя приверженность одному или нескольким противоречивым взглядам на разум и смысл, она более тенденциозна, чем просто думать о нем как о бредогенераторе. Но независимо от того, есть ли у программы намерения или нет, на каком-то этапе явно имеет место попытка обмануть слушателя или читателя относительно природы процесса, и, на наш взгляд, это оправдывает то, что результат можно назвать полной чушью.

Итак, хотя и стоит сделать оговорку, нам не кажется, что это существенно влияет на то, как мы должны думать и говорить о ChatGPT и всякой чуши. Человек, использующий его, чтобы сделать какую-то бумагу или поговорить, не заботится ни о передаче или сокрытии правды (поскольку и то, и другое требует внимания к тому, что на самом деле является правдой), а также сама система не заботится об этом. Как минимум, он производит мягкую чушь. А учитывая некоторые противоречивые предположения о природе намеренного приписывания, он производит жёсткую чушь. Конкретное содержание чуши для наших целей не важна: в любом случае ChatGPT — это чушь.

Бред? Галлюцинации? Бессмыслица? Необходимость новой терминологии

Мы утверждали, что для описания высказываний, производимых ChatGPT, следует использовать термин "бред", а не "галлюцинации". Предположение о том, что термин "галлюцинации" неуместен, было также отмечено Эдвардсом (Edwards, 2023), который предпочитает использовать термин "конфабуляция" (бесцельная ложь; вымысел; бессмыслица - прим. переводчика). Почему наше предложение лучше этой или других альтернатив?

Мы возражаем против термина "галлюцинация", потому что он несёт в себе некоторые вводящие в заблуждение последствия. Когда кто-то галлюцинирует, он имеет нестандартный перцептивный опыт, но на самом деле не воспринимает какую-то особенность мира (Macpherson, 2013²⁰), где "воспринимать" понимается как термин успеха, то есть он не воспринимает объект или свойство на самом деле. Этот термин не подходит для LLM по целому ряду причин. Во-первых, как отмечает Эдвардс (Edwards, 2023), термин "галлюцинация" антропоморфирует ЛЛМ. Эдвардс также отмечает, что приписывание возникающих проблем "галлюцинациям" моделей может позволить создателям "обвинить модель ИИ в неправильных результатах вместо того, чтобы взять на себя ответственность за эти результаты", а мы можем опасаться такого отказа от ответственности. LLM не способны понимать, поэтому они точно не "неправильно понимают". Во-вторых, то, что происходит в случае, когда LLM выдаёт ложные высказывания, не является необычной или отклоняющейся от ожидаемого формой происходящего процесса (как говорят некоторые, например, дизъюнкционисты о восприятии, в случае галлюцинаций). Такой же процесс происходит, когда результаты оказываются истинными.

Вот вам и "галлюцинации". А как насчет предпочитаемого Эдвардсом термина "конфабуляция"? Эдвардс говорит:

В человеческой психологии “конфабуляция” возникает, когда в чьей-то памяти есть пробел, и мозг убедительно заполняет его, не намереваясь обманывать других. ChatGPT работает не так, как человеческий мозг, но термин “конфабуляция”, вероятно, служит лучшей метафорой, потому что здесь действует творческий принцип заполнения пробелов […].

Как отмечает Эдвардс, это несовершенно. И снова использование человеческого психологического термина рискует антропоморфировать LLM.

Этот термин также предполагает, что есть нечто исключительное, когда LLM произносит ложное высказывание, т.е. что в этих случаях – и только в этих – он "заполняет" пробел в памяти чем-то ложным. Это тоже вводит в заблуждение. Даже когда ChatGPT даёт нам правильные ответы, его работа заключается в предсказании следующего лексемного знака. На наш взгляд, это ошибочно указывает на то, что ChatGPT в целом пытается передать точную информацию в своих высказываниях. Но есть веские основания полагать, что у него нет убеждений, которыми он намерен поделиться в целом. По нашему мнению, это ошибочно указывает на то, что ChatGPT в целом пытается передать точную информацию в своих высказываниях. Если он и отслеживает истиность, то делает это косвенно и случайно.

Именно поэтому мы предпочитаем характеризовать ChatGPT как машину для генерации чуши. Эта терминология позволяет избежать предположений о том, что в процессе работы LLM происходит восприятие или запоминание. Мы также можем охарактеризовать её как машину для вранья, когда она выдаёт фантазийные результаты. Как и в случае с человеком, некоторые из результатов, скорее всего, будут правдивыми, неаоторые - нет. И, как и в случае с человеком, нам следует опасаться полагаться на любой из них.

Заключение

Инвесторы, политики и представители широкой общественности принимают решения о том, как обращаться с этими машинами и как к ним относиться, основываясь не на глубоком техническом понимании того, как они работают, а зачастую на метафорических описаниях их возможностей и функций. Называть ошибки LLM «галлюцинациями» вовсе не безобидно. Это приводит к путанице, заблуждению, что машины каким-то чудесным образом образом неправильно воспринимают исходную информацию, но, тем не менее пытаются передать то, во что они верят или чему обучены. Как мы уже говорили, это неправильная метафора. Машины не пытаются сообщить то, во что они верят или воспринимают. Их неточность не связана с неправильным восприятием или галлюцинациями. Как мы уже отмечали, они вообще не пытаются передать информацию. Они просто генераторы чуши, иногда правдоподобной.

Называя неточности чат-ботов «галлюцинациями», они подпитывают разутую шумиху вокруг способностей LLM среди сторонников технологий и могут привести к ненужному страху среди широкой публики. Они также предлагают решения проблемы неточности, которые могут не сработать и привести к ошибочным усилиям специалистов по согласованию ИИ. Это также может привести к недоверию к машине, когда она всё делает правильно: неточности показывают, что это чушь собачья, даже когда она права. Назвать эти неточности «чушью», а не «галлюцинациями» не просто правильнее, как мы утверждали. Это хорошая коммуникация в научно-технической области, которая в ней остро нуждается.

Благодарности

Благодарим Нила МакДоннелла, Брайана Пикеля, Феннера Тансвелла и группу чтения по модели большого языка Университета Глазго за полезные обсуждения и комментарии.

©Майкл Таунсен Хикс, Джеймс Хамфрис & Джо Слейтер

Correspondence to Michael Townsen Hicks

Оригинал опубликован в Springer Link 8 июня 2024 г.

Перевод: ©Wandering Thinker

P.S. Иронично, что во время работы над этим переводом я наткнулся в Федивёрсе на забавную расшифровку аббревиатуры LLM: “LLM = Largely Lifted Mediocrity” ©Alexandre Oliva. Я бы перевёл её как “непомерно переоценённая посредственность”. Не совсем точно по букве, но очень подходяще по смыслу.

P.S.P.S Отдельная благодарность obecpactet@mk.phreedom.club за внесённые редаторские правки.

⁂ Сноски

¹⁷ Конечно, камни также не могут выражать предложения, но часть сомнений здесь заключается в том, действительно ли ChatGPT показывает предложения или является просто средством, с помощью которого агенты показывают предложения. Ещё одно сомнение заключается в том, что мы даже не должны рассматривать ChatGPT как выражение предложений — возможно, здесь нет коммуникативных намерений, и поэтому мы должны рассматривать результаты как бессмысленные. Даже принимая это, мы всё равно можем осмысленно говорить о них как о выражениях пропозиций. Это предположение — беллетристика в отношении чат-ботов — недавно обсуждалось Мэллори¹⁸ .

¹⁹ Mandelkern, M., & Linzen, T. (2023). Do language models’ Words Refer?

²⁰ Macpherson, F. (2013). The philosophy and psychology of hallucination: an introduction, in Hallucination, Macpherson and Platchias (Eds.), London: MIT Press

Часть первая >>>

Часть вторая >>>