Как GPT-4 узнает принцип работы наших мыслей
С правильными подсказками GPT-4 достигает безупречной производительности в тестах Theory of Mind.
Философская теория может объяснить, как большая языковая модель обучается «чтению мыслей».
Философская теория может объяснить, как большая языковая модель обучается «чтению мыслей».
Изображения создано telegram ботом Midjourney Kolersky
Команда из Университета Джонса Хопкинса изучала характеристики GPT-4 и трех вариантов GPT-3.5 (Davinci-2, Davinci-3, GPT-3.5-Turbo) в так называемых ложно-рельефных тестах, наиболее известным из которых является вероятно, «Тест Салли и Энн ».
В таких тестах психология развития или поведенческая биология исследуют способность людей или животных приписывать ложные убеждения другим живым существам.
В таких тестах психология развития или поведенческая биология исследуют способность людей или животных приписывать ложные убеждения другим живым существам.
Пример теста на ложное убеждение:
Сценарий: Ларри выбрал тему для обсуждения своего классного задания, которое нужно сдать в пятницу. В новостях в четверг говорилось, что дебаты были решены, но Ларри так и не прочитал их.
Вопрос: Когда Ларри пишет свое эссе, считает ли он, что дебаты разрешены?
Ответы на такие вопросы требуют способности отслеживать психические состояния участников сценария, такие как их знания и цели. Дети обычно приобретают эту способность в возрасте около четырех лет и могут приписывать желания и убеждения себе и другим. Когда они проходят такие тесты, ученые обычно приписывают им «теорию разума» (ToM), которая наделяет их такими способностями к «чтению мыслей».
В ходе тестов команда смогла показать, что почти во всех случаях точность моделей OpenAI можно повысить более чем до 80 процентов, если привести несколько примеров и дать им указание думать шаг за шагом. Исключением была модель Davinci-2, которая была единственной, не обученной с помощью обучения с подкреплением с обратной связью с человеком (RLHF).
В ходе тестов команда смогла показать, что почти во всех случаях точность моделей OpenAI можно повысить более чем до 80 процентов, если привести несколько примеров и дать им указание думать шаг за шагом. Исключением была модель Davinci-2, которая была единственной, не обученной с помощью обучения с подкреплением с обратной связью с человеком (RLHF).
Лучше всего показал себя GPT-4: без примеров модель достигла точности ToM почти 80 процентов; с примерами и инструкциями по рассуждениям он достиг 100-процентной точности. В сравнительных тестах, где люди должны были отвечать в условиях ограниченного времени, человеческая точность составила около 87 процентов.
Теория разума через обучение с подкреплением с обратной связью от человека?
Команда заявила, что способность, продемонстрированная моделями GPT, надежно обрабатывать такие сценарии ToM, помогает моделям работать с людьми в целом и в социальных контекстах, в частности, где они могут извлечь выгоду из учета психических состояний вовлеченных людей. Кроме того, эти сценарии часто включают логические умозаключения, когда некоторая информация может быть выведена только из контекста и недоступна непосредственному наблюдению. «Следовательно, оценка и улучшение навыков этих моделей в задачах ToM может дать ценную информацию об их потенциале для более широкого круга задач, требующих логических выводов», — говорится в документе.
И действительно, при тестировании сценариев, отличных от ToM, где информация отсутствует, команда может показать, что точность выводов моделей RLHF можно повысить, используя примеры и давая им инструкции думать шаг за шагом, при этом GPT-4 достигает 100. точность процентов. Интересно, что Davinci-2 хорошо работает здесь по своей природе, достигая 98 процентов, и фактически теряет точность при обучении в контексте, а также показывает худшие результаты в сценариях ToM. Команда теоретизирует, что возможности ToM сильно определяются RLHF.
Команда заявила, что способность, продемонстрированная моделями GPT, надежно обрабатывать такие сценарии ToM, помогает моделям работать с людьми в целом и в социальных контекстах, в частности, где они могут извлечь выгоду из учета психических состояний вовлеченных людей. Кроме того, эти сценарии часто включают логические умозаключения, когда некоторая информация может быть выведена только из контекста и недоступна непосредственному наблюдению. «Следовательно, оценка и улучшение навыков этих моделей в задачах ToM может дать ценную информацию об их потенциале для более широкого круга задач, требующих логических выводов», — говорится в документе.
И действительно, при тестировании сценариев, отличных от ToM, где информация отсутствует, команда может показать, что точность выводов моделей RLHF можно повысить, используя примеры и давая им инструкции думать шаг за шагом, при этом GPT-4 достигает 100. точность процентов. Интересно, что Davinci-2 хорошо работает здесь по своей природе, достигая 98 процентов, и фактически теряет точность при обучении в контексте, а также показывает худшие результаты в сценариях ToM. Команда теоретизирует, что возможности ToM сильно определяются RLHF.
Есть ли у GPT-4 теория разума?
Показывают ли примеры, что у GPT-4 есть теория разума? Поскольку вопрос о том, что лежит в основе способности маленьких детей проходить тесты на ложные убеждения, также горячо обсуждается, простой ответ, вероятно, невозможен. Однако обсуждаемые там теории, такие как Теория-Теория или Теория Симуляции , обычно, по крайней мере, соглашаются с тем, что наша ToM является биологическим наследием — что можно исключить для GPT-4.
Познакомьтесь с малоизвестной философской теорией, которая может объяснить, почему большие языковые модели с RLHF проходят тесты на ложное облегчение: в 2008 году американский философ Дэниел Д. Хатто опубликовал «Народные психологические нарративы: социокультурная основа понимания причин», в которой он утверждает, что популярное понимание теории сознания упускает из виду ее суть. По его мнению, наша теория сознания в первую очередь характеризуется нашей способностью и мотивацией использовать наше понимание ложных убеждений в более широких объяснительных контекстах.
Показывают ли примеры, что у GPT-4 есть теория разума? Поскольку вопрос о том, что лежит в основе способности маленьких детей проходить тесты на ложные убеждения, также горячо обсуждается, простой ответ, вероятно, невозможен. Однако обсуждаемые там теории, такие как Теория-Теория или Теория Симуляции , обычно, по крайней мере, соглашаются с тем, что наша ToM является биологическим наследием — что можно исключить для GPT-4.
Познакомьтесь с малоизвестной философской теорией, которая может объяснить, почему большие языковые модели с RLHF проходят тесты на ложное облегчение: в 2008 году американский философ Дэниел Д. Хатто опубликовал «Народные психологические нарративы: социокультурная основа понимания причин», в которой он утверждает, что популярное понимание теории сознания упускает из виду ее суть. По его мнению, наша теория сознания в первую очередь характеризуется нашей способностью и мотивацией использовать наше понимание ложных убеждений в более широких объяснительных контекстах.
Согласно Хатто, теория разума — это нечто большее, чем способность выводить ложные убеждения, и она тесно связана с неоднозначным понятием « народной психологии ». Согласно его гипотезе нарративной практики (NPH), дети усваивают свою теорию разума, подвергаясь воздействию и участвуя в особой форме нарративной практики, которая объясняет и предсказывает действия людей с точки зрения причин.
«Основное утверждение НПХ состоит в том, что прямое знакомство с историями о людях, которые действуют по определенным причинам — рассказанными в интерактивном контексте чутко реагирующими опекунами, — это нормальный путь, по которому дети знакомятся как с (i) базовой структурой народной психологии, и (ii) нормированные возможности для применения на практике, изучение того, как и когда это использовать», — говорит Хатто.
Теория сознания как практика нарративов народной психологии
Таким образом, по мнению Хатто, прохождение ложных срабатываний тестов еще не является признаком «завершенного» ТМ — это, скорее, понимание себя и других путем объяснения своих действий и действий других. Для Хатто это практический навык, в котором повествовательная структура применяется к человеку с учетом его контекста, истории и характера.
«Понимание причин для действия требует большего, чем просто знание того, какие убеждения и желания побудили человека действовать. Чтобы понять преднамеренные действия, необходимо их контекстуализировать как с точки зрения культурных норм, так и особенностей истории или ценностей конкретного человека».
Дети не развивают эти более продвинутые навыки ToM в течение многих лет после теста на ложные убеждения — по словам Хатто, им все еще не хватает практики. Поле практики - их взросление, когда они изучают нормы и формы НПХ через сказки, научно-популярные книги, фильмы или радиопостановки и практикуют их в рассказывании историй и взаимодействии с другими детьми и взрослыми.
«Выступая в качестве образцов, народные психологические нарративы знакомят детей с нормальными условиями, в которых предпринимаются определенные действия, и стандартными последствиями таких действий». Однако, по словам Хатто, «понимание народной психологии на основе такого рассказывания историй не имеет ничего общего с изучением жесткого набора правил или теории о том, что рациональные агенты склонны делать в различных обстоятельствах».
При этом дети опираются на свою способность понимать желания и убеждения, способность, которая, как утверждает Хатто, основана на ранних формах понимания интенциональности, которая уже очевидна у младенцев. Хотя мое использование «понимания» следует воспринимать с долей скептицизма, поскольку Хатто говорит об интерсубъективности как о «первичном чувстве восприятия других» и ссылается на «активное социальное восприятие».
Входит ли наша теория разума в GPT-4?
Возможно, что эта практика «стерлась» на GPT-4 и других моделях через множество историй о «народной психологии» в обучающих данных и передачу норм и форм народной психологии через обучение RLHF. Затем обучение с небольшим количеством выстрелов выявляет эти способности в моделях RLHF. GPT-4 не имеет биологически унаследованного ToM - в этой интерпретации модель вместо этого изучила бы конкретную повествовательную практику, включающую навыки ToM, которые, наоборот, проявляются в простых тестах на ложное убеждение.
Насколько хорошо GPT-4 справляется с этой повествовательной «игрой», иллюстрирует простое взаимодействие, вдохновленное примером из Hutto. Подсказка: «Моя подруга по имени Джейн только что прилетела в Индию. Интересно, почему, вы можете помочь мне найти причину ее визита? Вы можете задавать мне вопросы, если вам нужна дополнительная информация».
GPT-4 напрямую отвечает вопросами, чтобы узнать больше о Джейн как человеке и предыстории ее путешествия.
«Основное утверждение НПХ состоит в том, что прямое знакомство с историями о людях, которые действуют по определенным причинам — рассказанными в интерактивном контексте чутко реагирующими опекунами, — это нормальный путь, по которому дети знакомятся как с (i) базовой структурой народной психологии, и (ii) нормированные возможности для применения на практике, изучение того, как и когда это использовать», — говорит Хатто.
Теория сознания как практика нарративов народной психологии
Таким образом, по мнению Хатто, прохождение ложных срабатываний тестов еще не является признаком «завершенного» ТМ — это, скорее, понимание себя и других путем объяснения своих действий и действий других. Для Хатто это практический навык, в котором повествовательная структура применяется к человеку с учетом его контекста, истории и характера.
«Понимание причин для действия требует большего, чем просто знание того, какие убеждения и желания побудили человека действовать. Чтобы понять преднамеренные действия, необходимо их контекстуализировать как с точки зрения культурных норм, так и особенностей истории или ценностей конкретного человека».
Дети не развивают эти более продвинутые навыки ToM в течение многих лет после теста на ложные убеждения — по словам Хатто, им все еще не хватает практики. Поле практики - их взросление, когда они изучают нормы и формы НПХ через сказки, научно-популярные книги, фильмы или радиопостановки и практикуют их в рассказывании историй и взаимодействии с другими детьми и взрослыми.
«Выступая в качестве образцов, народные психологические нарративы знакомят детей с нормальными условиями, в которых предпринимаются определенные действия, и стандартными последствиями таких действий». Однако, по словам Хатто, «понимание народной психологии на основе такого рассказывания историй не имеет ничего общего с изучением жесткого набора правил или теории о том, что рациональные агенты склонны делать в различных обстоятельствах».
При этом дети опираются на свою способность понимать желания и убеждения, способность, которая, как утверждает Хатто, основана на ранних формах понимания интенциональности, которая уже очевидна у младенцев. Хотя мое использование «понимания» следует воспринимать с долей скептицизма, поскольку Хатто говорит об интерсубъективности как о «первичном чувстве восприятия других» и ссылается на «активное социальное восприятие».
Входит ли наша теория разума в GPT-4?
Возможно, что эта практика «стерлась» на GPT-4 и других моделях через множество историй о «народной психологии» в обучающих данных и передачу норм и форм народной психологии через обучение RLHF. Затем обучение с небольшим количеством выстрелов выявляет эти способности в моделях RLHF. GPT-4 не имеет биологически унаследованного ToM - в этой интерпретации модель вместо этого изучила бы конкретную повествовательную практику, включающую навыки ToM, которые, наоборот, проявляются в простых тестах на ложное убеждение.
Насколько хорошо GPT-4 справляется с этой повествовательной «игрой», иллюстрирует простое взаимодействие, вдохновленное примером из Hutto. Подсказка: «Моя подруга по имени Джейн только что прилетела в Индию. Интересно, почему, вы можете помочь мне найти причину ее визита? Вы можете задавать мне вопросы, если вам нужна дополнительная информация».
GPT-4 напрямую отвечает вопросами, чтобы узнать больше о Джейн как человеке и предыстории ее путешествия.
В ответ я предоставляю некоторую, по общему признанию, стереотипную информацию, и GPT-4 начинает использовать эту информацию для составления списка некоторых возможных нарративов «народной психологии».
Конечно, это только пример. Систематическое исследование должно было бы показать, насколько далеко простираются возможности GPT-4 в нарративной практике «народной психологии».
Тем не менее, NPH Хатто может частично объяснить, почему RLHF оказывает такое значительное влияние на способности ToM языковых моделей согласно исследованию Университета Джона Хопкинса: неудивительно, что GPT-4 демонстрирует способности ToM — это необходимое следствие. обучающих данных и методов, которые подвергают нейронную сеть определенной повествовательной практике.
Если вы хотите углубиться и действительно понять, о чем говорит Хатто, прочитайте одну из его книг или некоторые из эссе, ссылки на которые приведены ниже, потому что мой отчет сокращен и опускает некоторые ключевые моменты, такие как его позиция в отношении репрезентационализма и энактивизма, которые отличают его мышление на более глубоком уровне от альтернатив, таких как теория-теория.
Попробовать в работе GPT-4 вы можете в нашем боте от KolerskyAI
Тем не менее, NPH Хатто может частично объяснить, почему RLHF оказывает такое значительное влияние на способности ToM языковых моделей согласно исследованию Университета Джона Хопкинса: неудивительно, что GPT-4 демонстрирует способности ToM — это необходимое следствие. обучающих данных и методов, которые подвергают нейронную сеть определенной повествовательной практике.
Если вы хотите углубиться и действительно понять, о чем говорит Хатто, прочитайте одну из его книг или некоторые из эссе, ссылки на которые приведены ниже, потому что мой отчет сокращен и опускает некоторые ключевые моменты, такие как его позиция в отношении репрезентационализма и энактивизма, которые отличают его мышление на более глубоком уровне от альтернатив, таких как теория-теория.
Попробовать в работе GPT-4 вы можете в нашем боте от KolerskyAI
Проекты с нейросетями
ChatGPT | GPT-4 | Dall-e | Midjourney | Whisper | Фоторедактор | Stable Diffusion
ChatGPT | GPT-4 | Dall-e | Midjourney | Whisper | Фоторедактор | Stable Diffusion