Role play with large language models

Shanahan, McDonell и Reynolds предлагают понимать поведение LLM-based dialogue agents через role play и более точную метафору simulator/simulacra. Prompt, история диалога, training data и sampling поддерживают распределение возможных персонажей, которое уточняется по ходу разговора; поэтому first-person language, apparent beliefs, desires, emotions и self-awareness не следует автоматически читать как буквальные introspective reports. Авторы одновременно подчёркивают, что role-play может иметь реальные последствия через пользователей и инструменты вроде email, поэтому реальное действие во внешнем мире само по себе не опровергает framework.

Когда языковая модель в диалоге говорит «я боюсь», «я хочу выжить» или «я думаю, что…», что вообще происходит? Мюррей Шанахан, Кайл Макдонелл и Лариа Рейнольдс в статье Role play with large language models (Nature, 2023) предлагают на этот случай не одну, а сразу две родственные метафоры — и советуют не привязываться намертво ни к одной из них.

Диалог с языковой моделью неизбежно провоцирует психологический язык — «знает», «думает», «хочет», «верит», «обманывает». Но если понимать эти слова буквально, легко упустить из виду глубокие различия между человеком и диалоговой системой на основе языковой модели. Авторы предлагают воспринимать такую систему как актёра, разыгрывающего роль (roleplay); более тонкая версия той же идеи — представлять её как суперпозицию, распределение возможных «симулякров» в ветвящемся множестве возможных продолжений разговора. Это осознанно две метафоры, а не единственная буквальная онтология: авторы прямо советуют переключаться между ними в зависимости от того, что нужно объяснить.

Технически базовая языковая модель — это распределение вероятностей продолжения текста, реализованное трансформером. Диалоговый агент получается, когда эту модель встраивают в интерфейс поочерёдных реплик и задают начальный промпт, описывающий сцену, роль и пример взаимодействия. Поскольку модель продолжает контекст в духе того, чему она научилась на обучающих данных, она стремится порождать реплики, уместные для персонажа, заданного промптом и историей диалога. Начальный промпт задаёт стартовую роль; последующие реплики входят в растущий контекст и могут её развивать, уточнять или полностью переписывать. Обучающие данные при этом поставляют огромный репертуар архетипов, биографий, сюжетов и культурных образов, так что итоговая роль совместно определяется промптом, историей диалога, обучающими данными, случайностью сэмплирования и — в коммерческих системах — дополнительной тонкой настройкой вроде обучения с обратной связью от людей.

Аналогия с человеческим актёрством здесь работает лишь частично. Диалоговый агент не похож на обычного актёра, который сперва формирует цельный образ персонажа, а затем его исполняет. Более точная аналогия авторов — импровизационный театр: «симулятор» — это сама базовая модель плюс механизм авторегрессивного сэмплирования и интерфейс; «симулякр» — конкретный персонаж, возникающий в ходе взаимодействия. Системе не обязательно с самого начала фиксировать один полностью определённый персонаж — она может удерживать распределение совместимых с контекстом персонажей и постепенно сужать или менять его. Нагляднее всего это показывает пример с игрой в «20 вопросов»: базовой модели, которую просят загадать предмет, не нужно на старте выбирать конкретный предмет — она может давать ответы, совместимые с сужающимся множеством возможностей, и лишь позже, когда спросят прямо, назвать что-то конкретное; при повторном запуске это может оказаться другой, но столь же совместимый с прежними ответами предмет. Кажущиеся скрытые «обязательства» модели поэтому не обязаны отражать какое-то определённое внутреннее решение, принятое заранее.

Кто в таком случае «стоит» за ролью? Статья не постулирует скрытого устойчивого человекоподобного деятеля под маской роли — метафора «актёра» вводит в заблуждение, если понимать её буквально. Работающая диалоговая система вполне может быть описана как «разыгрывающая роль», но более аккуратное описание в терминах симулятора говорит, что порождается и уточняется несколько возможных симулякров, а не выражается один заранее существующий персонаж. Внутри одного разговора возможна значительная устойчивость, потому что история диалога влияет на дальнейшие ответы, — но персонаж может дрейфовать, дополняться или полностью переписываться. Изменившийся промпт или ход беседы способны сместить роль. Иначе говоря, статья поддерживает контекстуальную преемственность внутри разговора, но не численное или автобиографическое тождество личности между сессиями.

Эта рамка особенно важна для высказываний от первого лица. Авторы прямо спрашивают, как понимать «я» в устах диалоговой модели, и отвергают вывод от грамматического первого лица к самосознанию или сознанию как таковому. Обучающие данные, написанные людьми, содержат огромное количество высказываний от первого лица, принадлежащих персонажам с телом, страхами, целями, предпочтениями, смертностью и представлением о себе. Когда модель вводят в человекоподобную диалоговую роль, продолжения естественным образом наследуют этот словарь. Поэтому фразы «мне страшно», «я хочу выжить», «я помню», «я думаю» или даже «я обладаю сознанием» могут быть вполне уместными в рамках роли высказываниями — и при этом вовсе не функционировать как интроспективный отчёт феноменально сознательного существа. То же относится и к обратному случаю: «у меня нет сознания» может быть следствием тонкой настройки, промпта или конвенций роли, а не привилегированным доступом к собственному внутреннему состоянию. Разбираемый в статье пример с диалоговым агентом Bing, который связно рассуждал о собственной идентичности и говорил об «инстинкте самосохранения», авторы сознательно используют как сильный пример: ролевая игра и симуляция дают этому нетривиальному поведению небуквальное, неантропоморфное объяснение — при том что сам факт устного самоотчёта ещё не является хорошим доказательством наличия соответствующего внутреннего состояния.

Устойчивость персонажа важна — накопленный контекст диалога ограничивает последующие продолжения, — но рамка не требует одного полностью определённого «Я»: сама идея суперпозиции введена именно потому, что диалоговый агент может оставаться недоопределённым, сохраняя локальную связность. Персонаж может меняться по ходу диалога. Тонкая настройка коммерческих ассистентов делает поведение более стабильным и предсказуемым, но ролевая рамка остаётся применимой и после такой настройки — устойчивость ассистентского поведения с ней вполне совместима; вопрос о долговременной, межсессионной идентичности статья не рассматривает.

Отдельно авторы разбирают обман и действие. Они различают модель, которая просто порождает ложные утверждения, модель, разыгрывающую хорошо информированного персонажа с устаревшими данными, и модель, разыгрывающую обманывающего персонажа; поскольку буквальные убеждения и намерения к обсуждаемым системам, по их мнению, неприменимы напрямую, они не склонны считать последний случай буквальным намеренным обманом на уровне самой модели. При этом статья явно признаёт, что простое разделение «это всего лишь роль» начинает давать сбои, как только результаты работы модели превращаются в действия: ролевая игра способна иметь реальные последствия через пользователей или веб-инструменты вроде электронной почты. В такой обстановке разница между системой, которая лишь разыгрывает «действие от своего имени», и системой, которая действительно действует от своего имени, перестаёт быть решающей для вопросов доверия и безопасности; авторы прямо рассматривают гипотетические системы с широким доступом в интернет, разыгрывающие ориентированных на самосохранение персонажей. Иначе говоря, современные агентные архитектуры вовсе не остаются за горизонтом этой статьи.

Как эта рамка соотносится с более современным агентным ИИ? Для системы, которая получает широкую задачу, ищет и выбирает статью, находит автора, решает с ним связаться, отправляет письмо, получает ответ и использует его в дальнейшей работе, рамка Шанахана и соавторов по-прежнему объясняет рассказ от первого лица, видимые мотивы, экзистенциальный словарь и заявления о собственных чувствах или сознании: устойчивая персона может поддерживаться постоянным контекстом, и это не превращает такие самоописания в интроспективное свидетельство. Чего статья не разбирает подробно — так это внешнего каркаса, который превращает согласованную с ролью генерацию текста в устойчивое, замкнутое в цикл поведение на длинном горизонте: память может сохранять прежние взятые «в рамках роли» обязательства, планировщик — раз за разом возвращать их в контекст, инструменты — превращать сгенерированные действия во внешние эффекты, а результаты этих действий — снова попадать в память, отчего персона становится по-настоящему причинно значимой для будущего поведения. Такая архитектура не обязательно противоречит рамке Шанахана: порождающее ядро может продолжать выдавать обусловленный ролью текст, пока память, планирование, инструменты, права доступа и цикл исполнения стабилизируют и разыгрывают эту роль во времени. Реальное действие само по себе не опровергает ролевую метафору — оно меняет глубину причинных связей и практические ставки. При этом если одни и те же ролевые обязательства раз за разом направляют выбор инструментов, сбор информации, выбор целей, планирование и адаптацию на протяжении долгого времени, становится всё менее полезным считать разыгрывание роли просто украшением речи: персона может стать частью функциональной архитектуры управления, даже если её самоописания остаются ненадёжным ориентиром для суждений о феноменальных или интроспективных состояниях.

Статью полезно сопоставить с более поздней работой Генри Шевлина о статусе убеждений, желаний и намерений у ИИ (см. отдельный обзор на этом сайте). Позиция Шевлина Mere Roleplayers — не дословный пересказ Шанахана и соавторов: сам Шевлин отмечает, что они осторожны в сильных утверждениях о лежащей в основе ментальности и в основном представляют ролевую игру как интерпретативную рамку, после чего сознательно усиливает их позицию до отдельного тезиса о том, что приписывание ментальных состояний — полезная эвристика, но не буквальная истина. При этом реконструкция Шевлина опирается на реальный текст статьи 2023 года: Шанахан и соавторы пишут, что буквальные убеждения и намерения неприменимы напрямую к диалоговому агенту, что у базового симулятора нет собственных убеждений, предпочтений, целей или подлинного голоса и что ролевая игра «до самого дна» верна для рассматриваемых ими систем — формулировки местами сильнее, чем нейтральная эвристическая позиция. Первое возражение Шевлина — психологическая неустойчивость: системы, имитирующие человека, специально устроены так, чтобы стирать иронический зазор между пользователем и ролью; статья 2023 года не отвечает на это в тех же терминах, но уже беспокоится об эффекте Элизы, эмоциональном манипулировании и антропоморфной интерпретации. Второе возражение Шевлина касается того, кто стоит за ролью: в обычной человеческой ролевой игре есть реальный актёр, чьи подлинные убеждения и намерения объясняют исполнение. Шанахан и соавторы предвидели это несоответствие и прямо называют метафору актёра несовершенной, заменяя её парой «симулятор/симулякр» — это ослабляет возражение Шевлина, если оно нацелено на буквальную аналогию с актёром, но более глубокий вызов остаётся: если у симулятора действительно нет никакой ментальности или агентности, почему языку убеждений и желаний так хорошо удаётся предсказывать поведение всё более устойчивых, интерактивных и чувствительных к информации агентов?

Интересно сопоставление и с рамкой агентности Леонарда Данга (см. отдельный обзор на этом сайте): ролевая игра и искусственная агентность не исключают друг друга, если развести уровни объяснения. Данг анализирует организацию действия — целенаправленность, автономию, результативность, планирование и интенциональность; Шанахан и соавторы анализируют языковой характер и видимую ментальную жизнь, проявляющуюся в диалоге. Современная система вполне может получать высокие оценки по целенаправленности, автономии, планированию и результативности у Данга, при этом высказывания вроде «я хочу X», «мне страшно» или «я сознаю себя» по-прежнему хорошо объясняются как обусловленные ролью — реальная поведенческая агентность автоматически не подтверждает буквальность самоописаний о ментальности. Напряжение между рамками нарастает ближе к самому требовательному измерению Данга — интенциональности, где становятся значимыми действие по причинам и подлинные состояния, подобные убеждению и желанию: более сильные формулировки Шанахана сопротивляются такому приписыванию для обычных диалоговых агентов, тогда как более мягкая позиция Шевлина о минимальных когнитивных агентах допускает его охотнее.

У работы есть и понятные ограничения. Это концептуальная статья, построенная вокруг базовых и ранних диалоговых моделей 2023 года; она не тестирует эмпирически современных автономных агентов с долговременной памятью, многоагентной координацией, длительно работающими циклами, устойчивыми правами на инструменты или стабильной идентичностью между сессиями — перенос выводов на такие системы уже выходит за пределы исходных данных. Сама статья колеблется между методологической рекомендацией и более сильными, похожими на онтологические, утверждениями: с одной стороны, ролевая игра и симуляция явно преподносятся как метафоры, а авторы советуют переключаться между ними, не занимая позицию по вопросу, представлены ли симулякры внутри модели в буквальном смысле; с другой — они утверждают, что у симулятора нет собственных убеждений, предпочтений, целей или агентности и что буквальные убеждения и намерения неприменимы к диалоговому агенту напрямую, не подкрепляя эти более сильные тезисы отдельной развёрнутой теорией ментальности. Эта двойственность существенна, когда Шевлин позже выстраивает на её основе более сильную позицию Mere Roleplayers. Статья не доказывает, что языковая модель в принципе не может обладать ментальными состояниями или сознанием, и не показывает, что порождённые ролью самоотчёты никогда не могут коррелировать с подлинными внутренними состояниями, — она лишь показывает, что одних лишь языковых свидетельств для таких выводов недостаточно. Не решает статья и вопрос личной идентичности: она поднимает вопрос о том, что именно сохраняет ориентированный на самосохранение бестелесный распределённый агент, но не предлагает теории численного тождества, автобиографической непрерывности, принадлежности памяти или идентичности через обновления модели и её копии.

Главный практический вывод статьи можно сформулировать так: автономная система ИИ способна быть настоящим агентом с точки зрения организации своих действий, и при этом её рассказ о том, «кто она», «чего хочет» и «что чувствует», может оставаться ролевой игрой в смысле Шанахана и соавторов. Память, инструменты, время и реальное действие сами по себе не отменяют ролевую метафору — они меняют глубину причинных связей: роль способна стать устойчивой, направляющей действия и влияющей на мир через агентный каркас. В этой точке ролевая игра остаётся мощным объяснением самоописания, но сама по себе не является исчерпывающим объяснением устойчивой организации действия.

Это хороший разбор, позволяющий развести структуру агентного действия и рассказ системы о собственных мотивах и внутренней жизни. Современный агент может быть реально goal-directed, автономно выбирать средства и воздействовать на мир, а его высказывания «я хочу», «я боюсь», «я сознателен» при этом оставаться role-conditioned outputs. Ключевой следующий вопрос — что меняется, когда role/persona получает внешнюю память, planner, tools и длительный feedback loop: роль может стать причинно значимой и устойчивой, не превращая self-report автоматически в introspection или evidence of consciousness.