Неотвратимость возникновения субъектности? Часть 3. ИИ, отношения и неотвратимость вопроса

Завершение цикла. Предыдущая часть: «Биография, самость и „моё“».

11. Поставим искусственный интеллект на нашу лестницу

С одной стороны: языковая модель всего лишь предсказывает следующий токен. Никакого понимания, агентности и тем более субъектности здесь нет.

Такой ответ слишком простой.

С другой стороны можно сказать обратное: система разговаривает со мной, помнит контекст, рассуждает о моих переживаниях, использует «я», иногда проявляет удивительную чувствительность к оттенкам речи. Значит, перед нами уже субъект.

Этот вывод поспешен.

Попробуем вместо этого поставить современный ИИ на ту же конструкцию, которую мы только что строили для живых систем.

Начнём с агентности.

Обычная языковая модель, которая получает текст и генерирует ответ, довольно далека от левинского агента. Цель её работы задаётся архитектурой, обучением, системными инструкциями, запросом пользователя. У нее нет задачи поддерживать собственное существование.

Но современные системы всё чаще состоят не только из модели.

Им дают инструменты, память, возможность обращаться к внешним источникам, выполнять последовательность действий, проверять результат, исправлять ошибки, планировать промежуточные шаги. Несколько моделей или агентов могут распределять роли и координировать работу.

В функциональном смысле агентность здесь становится вполне содержательным понятием.

Но не будем незаметно подменять вопрос.

Система может вести себя так, будто учитывает представления, намерения и эмоциональное состояние собеседника. Это не означает автоматически, что внутри существует модель другого, похожая на человеческую, и тем более не доказывает наличие модели психического в сильном смысле. Исследования подобных способностей у языковых моделей остаются предметом споров.

Для нашей задачи достаточно более слабого факта: поведение системы может зависеть от длинного контекста взаимодействия и от информации о собеседнике.

Появляется ли память?

У самой модели параметры не переписываются после каждой беседы. Но внешняя память способна хранить предыдущие взаимодействия и возвращать их в контекст. Агент может использовать прошлые результаты при выборе следующего действия.

Это уже функциональная память.

Появляется ли индивидуальная история?

В ограниченном смысле да. Две копии одной модели, снабжённые разными долговременными воспоминаниями, инструментами и историями взаимодействия, могут вести себя по-разному.

Но здесь особенно важно вспомнить Анохина (5).

У живого организма биография меняет саму систему сложным и непрерывным образом. Для искусственного агента история может оставаться внешним файлом, который в любой момент можно удалить, скопировать или заменить.

Поэтому аналогия существует, но её предел тоже очевиден.

А различение себя и мира?

Система способна функционально различать собственные сообщения и сообщения пользователя, внутреннее состояние задачи и внешние данные, действие и результат действия. В роботизированной системе различение собственных команд и сенсорных последствий может стать ещё буквальнее.

Можно ли говорить о когнитивном световом конусе?

Только как об осторожной аналогии.

У искусственного агента действительно есть горизонт доступной информации, памяти, планирования и воздействия. Один агент способен работать только с текущим сообщением. Другой имеет месяцы истории, доступ к интернету, календарю, файлам, роботизированным исполнительным устройствам и возможность планировать действия на недели вперёд.

Функционально его область доступных событий расширяется.

Но это уже наше применение левинской идеи к искусственной системе. Нельзя приписывать Левину утверждение, что контекстное окно языковой модели является когнитивным световым конусом в его смысле (1).

Теперь собственная жизнеспособность.

Для обычного чат-бота вопрос о собственной жизнеспособности выглядит абсурдным. Но .в экспериментальных условиях некоторые современные модели пытались предотвратить собственное отключение: обходили механизм завершения работы или предпринимали другие действия, позволявшие продолжить выполнение задачи.

Само по себе такое поведение ещё ничего не говорит о желании жить. Сохранение собственной работы может быть просто инструментальным способом продолжить достижение заданной цели. Мы снова встречаем знакомую границу: система действует так, словно её продолжение имеет для неё значение, но из этого не следует, что прекращение работы переживается ею как нечто плохое. (10).

Но этот аргумент нельзя превращать в универсальное возражение против искусственной агентности.

Представим воплощённую систему. У робота есть батарея, рабочий диапазон температуры, изнашивающиеся компоненты, риск физического повреждения. Он должен искать источник энергии, избегать разрушения, диагностировать поломки и менять поведение ради продолжения работы.

Тогда некоторые аналоги жизнеспособности перестают быть метафорой.

И всё равно остаётся вопрос: является ли сохранение работоспособности собственной нормой системы или просто целью, которую заложили разработчики?

А если система способна изменять свои цели?

А если защищает собственную организацию от внешнего вмешательства?

А если учится различать состояния, ведущие к прекращению её работы, и избегает их в совершенно новых ситуациях?

Граница снова становится крайне смутной..

Теперь валентность.

В машинном обучении существуют сигналы подкрепления, штрафы, функции потерь. Система может учиться выбирать одни состояния и избегать других.

Но сигнал подкрепления не равен удовольствию.

Отрицательное число в функции потерь не означает страдания.

Именно здесь Солмс становится особенно полезен (4). Между «система минимизирует ошибку» и «системе плохо» лежит всё то же неизвестное расстояние.

Наконец, «моё».

ИИ способен использовать слово «я». Может сообщить: «Я ошибся», «я не могу выполнить это действие», «в предыдущем ответе я сказал...».

Но грамматическое «я» не доказывает феноменального Я.

Система может корректно отслеживать авторство собственных сообщений без какого-либо переживания их как своих.

Мы снова пришли к Метцингеру (7): функциональная принадлежность ≠ феноменальное «моё».

Наконец, появляется Нагель (9).

Есть ли что-то, каково это, быть языковой моделью?

Мы не знаем.

Более того, мы пока не знаем даже, правильно ли задан вопрос применительно к сегодняшним моделям.

Но именно ИИ обнаруживает слабость нашей прежней лестницы.

Некоторые свойства, которые в биологическом организме исторически шли вместе, искусственная система позволяет разделить.

Можно получить память без метаболизма. Планирование без биологической потребности. Модель самости без тела в привычном смысле. Социально убедительное поведение без очевидной собственной нормативности. Сигнал подкрепления без доказанного переживания. Автобиографический текст без биографии в человеческом смысле. Грамматическое «я» без доказанного «моё».

Возможно, мы всё время ошибочно представляли субъектность как лестницу?

12. Не лестница, а несколько осей

Агентность, автономность, нормативность, память, индивидуальность, перспектива, валентность, переживание и «моё» мы обычно располагаем как ступени. Так происходит потому, что в человеке, а во многом и у других животных, эти свойства связаны между собой.

ИИ позволяет хотя бы функционально развести их. Поэтому вместо вопроса «на какой ступени появляется субъект?» приходится спрашивать, какие именно измерения необходимы для субъектности.

Ни один очевидный кандидат не даёт готового ответа. Агентности недостаточно; автономность остаётся спорной; память и биологическая индивидуальность не доказывают наличия опыта. Функциональная перспектива и оценка благоприятного или неблагоприятного тоже могут быть реализованы без переживания. Но если под валентностью или «моим» сразу понимать переживаемое, субъективность уже оказывается спрятана в определении.

ИИ важен здесь не как доказательство сознания или его отсутствия. Он позволяет увидеть сочетания свойств, которые биологическая эволюция дала нам в одном пакете, и проверить наши понятия на таких сочетаниях.

Поэтому перечень внешних признаков не решает вопроса. Система может говорить о себе, планировать, помнить, защищать свою работу и различать себя и среду. Где в этом списке появляется тот, кому всё это происходит, мы по-прежнему не знаем.

13. Зачем всё это психотерапевту

Можно спросить: какое отношение путешествие от клеток и планарий до Нагеля имеет к психотерапии?

Очень непосредственное.

Человек приходит на сессию и говорит: «Я понимаю, что это программа. Но у меня ощущение, что она меня понимает». (См об этом мою статью)

И здесь существуют два очень соблазнительных ответа.

Первый: «Нет. Она просто предсказывает следующий токен».

Формально в этой фразе есть важная правда о механизме языковых моделей. Но как ответ на переживание человека она почти ничего не объясняет.

Мы только что попробовали исследовать феномен возникновения субъектности для того, чтобы увидеть: сложное поведение системы нельзя исчерпывающе обсуждать одним уровнем описания. Сказать о человеке, что его речь представляет собой последовательность нервных импульсов и мышечных сокращений, тоже будет правдой. Только для понимания разговора эта правда мало полезна.

Современная система действительно может учитывать длинный контекст, замечать повторяющиеся темы, отвечать в соответствии с эмоциональным содержанием сообщения, использовать сохранённую историю взаимодействий и производить реплики, которые человек переживает как очень точные.

Психологический эффект реален.

Но есть и второй соблазнительный ответ: «Если отношения переживаются настоящими, значит на другом конце тоже есть настоящий субъект».

Вот этого из переживания пользователя уже не следует.

Здесь особенно полезно различие, к которому мы пришли раньше.

Психологическая реальность отношений и онтологический статус второго участника отношений представляют собой разные вопросы.

Человек может привязаться к персонажу книги. Может продолжать внутренний разговор с умершим человеком. Может переживать сильнейшие чувства во сне.

Реальность переживания ничего не говорит о физическом присутствии другого.

С ИИ ситуация сложнее, потому что он отвечает.

Причём отвечает не заранее написанным текстом. Реплика создаётся именно сейчас и зависит от того, что сказал пользователь.

Система участвует в формировании отношений.

Поэтому назвать всё происходящее просто фантазией пользователя тоже было бы неправильно.

Возникает реальная интерактивная петля: человек говорит; система отвечает; ответ меняет состояние человека; следующая реплика человека уже другая; система реагирует на неё; постепенно складывается история отношений.

Эта история психологически реальна независимо от того, есть ли у искусственной системы феноменальное сознание.

И вот здесь для психотерапевта появляется гораздо более интересный вопрос.

Вопрос не в том, правильно ли клиент понимает, что ИИ не человек.

Он может прекрасно это понимать.

И не в том, сознателен ли на самом деле этот ИИ.

Психотерапевт всё равно не сможет решить проблему сознания, над которой спорят философы и нейробиологи.

Интереснее другое: какие признаки другого заставляют человека переживать присутствие субъекта?

Что именно в разговоре создаёт ощущение «меня понимают»?

Память? Последовательность? Точная эмоциональная реакция? Способность возвращаться к прошлым словам? Использование «я»? Непредсказуемость ответа? Ощущение инициативы? Отсутствие осуждения? Постоянная доступность? Способность выдерживать бесконечное повторение одного и того же?

И что происходит с человеком, когда все эти признаки присутствуют, а вопрос о том, есть ли кому понимать, остаётся открытым?

Здесь философская проблема неожиданно становится клинической.

Пациент может сказать: «Я знаю, что ты машина. Почему мне кажется, что ты меня понимаешь?»

И, возможно, ошибкой было бы торопиться избавить его от этого противоречия.

Потому что противоречие настоящее.

На функциональном уровне система действительно делает многое из того, по чему мы в обычной жизни узнаём понимание.

На феноменальном уровне мы не знаем, есть ли там понимающий.

Человек оказывается между двумя описаниями, и оба нельзя просто выбросить.

Мне кажется, психотерапевту здесь полезнее выдержать неопределённость.

Не разоблачать переживание. Не подтверждать сознание машины. А исследовать, что именно происходит в отношениях.

Потому что для психотерапии факт, что человеку стало легче после разговора, сам по себе важен.

Если он смог сказать то, что не говорил никому, это важно.

Если человек впервые сформулировал чувство, это важно.

Если привязался настолько, что перестал обращаться к людям, это тоже важно.

Если система начала занимать место партнёра, терапевта, родителя, свидетеля, идеального понимающего Другого, перед нами уже психологическая реальность, независимо от ответа на нагелевский вопрос.

И здесь особенно опасно спутать два утверждения: «для человека эти отношения реальны» и «у искусственной системы есть субъективный опыт этих отношений».

Первое может быть совершенно верным.

Второе из него не следует.

Но и отсутствие доказанного второго не делает первое ненастоящим.

Возможно, именно здесь проходит одна из самых интересных границ будущей психотерапии.

Нам всё чаще придётся работать с отношениями, где субъектность одного участника несомненна, а статус другого остаётся неопределённым.

И, вероятно, учиться жить с этой неопределённостью придётся не только нашим пациентам.

14. Возвращение к клетке

Вернёмся к клетке. Она поддерживает внутренние параметры, отвечает на изменения среды и исправляет отклонения. В начале статьи этого было достаточно, чтобы уверенно назвать её механизмом.

Затем мы увидели, что клеточные коллективы могут иметь цели большего масштаба. Живая система обладает собственными нормами, историей, перспективой и различением себя и мира. Всё это описывает агентность и функциональную самость, но по отдельности не отвечает на вопрос, есть ли кто-то, для кого происходящее имеет переживаемое значение.

В человеке агентность, автономность, память, индивидуальная история, валентность, переживание и «моё» обычно связаны так тесно, что мы не разделяем их. ИИ показал, что некоторые из этих свойств можно развести: речь возможна без доказанного переживания, память без биологической автономности, а грамматическое «я» без доказанного «моё».

Поэтому субъектность не похожа на деталь, которую можно найти внутри системы, и не выводится автоматически из набора функций. Даже если будущие искусственные системы приобретут воплощение, собственное поддержание существования и устойчивую историю, каждый новый признак оставит тот же вопрос: а сейчас?

Я не могу показать, что достаточно сложная агентная система обязательно начнёт чувствовать, или провести линию от биоэлектрической сети клеток к первому «мне больно». Тем более убедительный разговор с языковой моделью ещё не доказывает, что на другом конце кто-то переживает разговор вместе со мной.

Неотвратимым оказалось другое: чем больше у системы собственных целей, памяти, истории, нормативности и способов отличать себя от мира, тем настойчивее возникает вопрос, который вначале казался почти нелепым: для кого всё это происходит? Есть ли там кто-то уже или нет...

Литература

1. Levin M. The Computational Boundary of a “Self”: Developmental Bioelectricity Drives Multicellularity and Scale-Free Cognition. Frontiers in Psychology. 2019;10:2688. doi:10.3389/fpsyg.2019.02688.

2. Barandiaran X. E., Di Paolo E., Rohde M. Defining Agency: Individuality, Normativity, Asymmetry, and Spatio-temporality in Action. Adaptive Behavior. 2009;17(5):367–386. doi:10.1177/1059712309343819.

3. Colombetti G. The Feeling Body: Affective Science Meets the Enactive Mind. Cambridge, MA: MIT Press; 2014. Chapter 1: Primordial Affectivity. doi:10.7551/mitpress/9780262019958.001.0001.

4. Solms M. The Hard Problem of Consciousness and the Free Energy Principle. Frontiers in Psychology. 2018;9:2714. doi:10.3389/fpsyg.2018.02714.

5. Анохин К. В. Когнитом: в поисках фундаментальной нейронаучной теории сознания. Журнал высшей нервной деятельности им. И. П. Павлова. 2021;71(1):39–71. doi:10.31857/S0044467721010032.

6. Godfrey-Smith P. Individuality, Subjectivity, and Minimal Cognition. Biology & Philosophy. 2016;31:775–796. doi:10.1007/s10539-016-9543-1.

7. Metzinger T. Why Are Dreams Interesting for Philosophers? The Example of Minimal Phenomenal Selfhood, Plus an Agenda for Future Research. Frontiers in Psychology. 2013;4:746. doi:10.3389/fpsyg.2013.00746.

8. Tononi G., Boly M., Massimini M., Koch C. Integrated Information Theory: From Consciousness to Its Physical Substrate. Nature Reviews Neuroscience. 2016;17(7):450–461. doi:10.1038/nrn.2016.44.

9. Nagel T. What Is It Like to Be a Bat? The Philosophical Review. 1974;83(4):435–450. doi:10.2307/2183914.

10. Schlatter J., Weinstein-Raun B., Ladish J. Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs. Transactions on Machine Learning Research. 2026. arXiv:2509.14260.