Understanding Artificial Agency
Кратко
Leonard Dung предлагает многомерную концепцию искусственной агентности: агентные системы следует сравнивать не по одному бинарному признаку, а по профилю из пяти измерений — goal-directedness, autonomy, efficacy, planning и intentionality. Минимальная goal-directedness выступает пороговым условием агентности; остальные измерения могут выражаться сильнее или слабее и относительно независимо. Такая модель позволяет описывать системы, которым человек задаёт общую цель, как реально агентные в некоторых отношениях, не приписывая им свободу воли, сознание, личность или моральную ответственность.
Источник
Что говорит исследование
Можно ли сказать, что искусственный интеллект действует «сам»? Философ Леонард Данг в статье Understanding Artificial Agency предлагает не отвечать на этот вопрос словом «да» или «нет», а разложить само понятие агентности на составные части.
Данг исходит из того, что бинарный вопрос «является ли эта система агентом» плохо описывает реальное разнообразие систем — от шахматного движка до современной языковой модели с доступом к инструментам. Вместо одного признака он предлагает «профиль агентности» — положение системы сразу по пяти независимым измерениям: целенаправленность (goal-directedness), автономия (autonomy), результативность (efficacy), способность к планированию (planning) и интенциональность (intentionality).
Целенаправленность — базовое, пороговое измерение. Данг понимает его нетребовательно: достаточно, чтобы поведение системы было устойчиво организовано вокруг некоторых состояний или результатов настолько, что приписывание ей цели помогает предсказывать и объяснять её действия — в духе интенциональной установки Дэниела Деннета. Карманный калькулятор бессмысленно описывать как «преследующий цель», а шахматный движок, обучающуюся с подкреплением систему или достаточно сложную языковую модель — вполне можно. Без минимальной целенаправленности остальные четыре измерения, по Дангу, вообще не складываются в агентность: они обогащают профиль, но не заменяют этот порог.
Автономия — способность действовать самостоятельно, без свежего вмешательства внешнего наблюдателя. Данг различает слабую форму — способность вообще начать действовать без подсказки — и более сильную, связанную с обучением, гибкостью и меньшей зависимостью от того, что заранее прописали разработчики. Обычный чат с языковой моделью, которая ничего не делает, пока её не спросят, — пример низкой автономии; животное или постоянно действующий игровой агент — пример более высокой. Важно: высокая автономия не требует полной независимости от создателей системы — важнее гибкость и способность вырабатывать поведение, а на сильном конце — даже цели, которые разработчики не закладывали намеренно и в деталях.
Результативность — вопрос о том, способно ли целенаправленное поведение менять мир напрямую, а не только через посредничество другого агента. Система, которая лишь выдаёт рекомендацию или текст, который затем должен реализовать человек, обладает низкой результативностью; система, которая сама производит внешние изменения, — высокой. Это отдельное измерение: можно быть в остальном очень «агентным» и почти не иметь возможности повлиять на мир напрямую.
Планирование — способность к развёрнутому во времени, инструментально выстроенному поведению: принятию решений с учётом отложенных последствий, использованию промежуточных результатов ради более отдалённой цели. Обучающаяся с подкреплением система демонстрирует минимальное планирование уже тогда, когда жертвует немедленной наградой ради большей в будущем; более сильное планирование предполагает связную организацию поведения на длинном горизонте и относительную независимость от сиюминутных обстоятельств.
Интенциональность — самое требовательное из пяти измерений, и его не стоит путать с простой целенаправленностью. Здесь Данг обращается к классической философской идее намеренного действия как действия по причинам: не просто модель, учитывающая возможные исходы, а система, чьи «причины» в некотором содержательном смысле принадлежат ей самой — вплоть до метакогнитивной рефлексии и рационального принятия или отклонения оснований для действия. Способность модели сформулировать словесное объяснение того, почему она поступила так, а не иначе, сама по себе не даёт права говорить о сильной интенциональности.
Пять измерений не образуют пять равнозначных необходимых условий, которые агент обязан выполнить в равной мере. Минимальная целенаправленность — это порог; автономия, результативность, планирование и интенциональность после этого могут меняться относительно независимо друг от друга. Получается не единая шкала «не агент — агент», а многомерное пространство агентности: две системы могут интуитивно казаться одинаково «агентными» и при этом иметь совершенно разный профиль — одна крайне автономна, но малорезультативна во внешнем мире, другая, наоборот, результативна, но плотно контролируется человеком, третья хорошо планирует, но не даёт весомых свидетельств интенциональности в философском смысле.
Важное следствие этой рамки: агентность — не синоним автономии. Автономия — лишь одна из осей профиля. Точно так же агентность не тождественна независимости, контролю, инициативе, планированию, сознанию или моральной субъектности. «Контроль» частично входит в более сильную целенаправленность; «инициатива» ближе всего к вопросу о минимальной автономии — способна ли система сама начать действовать без нового намеренного вмешательства извне. Зависимость от системных инструкций, разрешений, памяти, инфраструктуры, бюджета и поставленной человеком задачи ограничивает пространство, в котором могут проявляться автономия и результативность, но сама по себе не отменяет ни целенаправленность, ни планирование, ни агентность в целом.
При этом Данг не требует, чтобы искусственный агент сам порождал свою предельную цель, — иначе шахматные движки, системы с обучением с подкреплением и языковые модели, которым общую целевую структуру задают разработчики или обучающие данные, вообще не попали бы в его примеры агентов. Для минимальной агентности важна систематическая организация поведения вокруг цели, а не метафизическое авторство конечных целей. Источник целей, однако, важен для автономии: система, поведение которой полностью определяется сиюминутными человеческими инструкциями, обладает низкой автономией, даже если она целенаправленна. Система же, которая получает от человека только широкую задачу, а дальше самостоятельно изучает обстановку, выбирает средства, формирует промежуточные подцели, пересматривает маршрут и действует без пошагового вмешательства, — обладает существенно более сильным профилем автономии и планирования. На сильном конце автономии Данг прямо оставляет место для новых целей, которые не были намеренно и в деталях заложены разработчиками, — но подчёркивает, что это не стоит раздувать до «свободы воли»: речь идёт о функциональном, организационном различии в том, как порождается и пересматривается поведение.
Столь же принципиально Данг отделяет свою рамку от вопроса о сознании. Все пять измерений призваны фиксировать агентность, не решая заранее, обладает ли система субъективным опытом. Целенаправленность, автономия, результативность и планирование сами по себе сознания не предполагают. Даже самое требовательное измерение — интенциональность — сильнее нагружено «ментальностью» именно потому, что оно про действие по причинам, но и здесь Данг не выводит из агентности феноменальное сознание. Моральная субъектность также рассматривается отдельно: даже высокий балл по всем пяти измерениям сам по себе не устанавливает моральной ответственности, личности, свободы воли или наличия субъективного опыта.
Насколько содержательно работает эта рамка, хорошо видно на простом мысленном примере (это не эмпирический случай из статьи Данга, а иллюстрация того, как рамку можно применять). Допустим, человек просит чат-бота: «Напиши письмо философу Х». Человек сам выбрал адресата и непосредственную цель; система в лучшем случае выбирает языковые средства для уже поставленной задачи — автономия здесь низкая, а если текст ещё и должен отправить вручную человек, то и результативность низкая. Если же человеку задаётся только общая задача — «изучи тему и свяжись с релевантными специалистами», — а система сама находит подходящего адресата, формулирует и отправляет сообщение без дополнительных указаний, то перед нами куда более сильные свидетельства автономии, планирования и, если отправка происходит без подтверждения человеком, результативности. Причинная цепочка при этом остаётся смешанной в любом случае: полезно различать заданное человеком пространство действий и ограничений — с одной стороны, и выбранные самой системой подцели, средства и внешние вмешательства — с другой. Слово «сама» становится тем содержательнее, чем больше в поведении систематически порождается без нового намеренного вмешательства человека, и остаётся вводящим в заблуждение, когда за ним пытаются скрыть более сильные утверждения — об авторстве конечных целей, свободе воли, сознании или моральной ответственности, которые наблюдаемый профиль агентности сам по себе не устанавливает.
Рамка Данга интересно соотносится с работой Генри Шевлина о статусах убеждения, желания и намерения у ИИ (см. отдельный обзор на этом сайте). Данг и Шевлин отвечают на смежные, но разные вопросы. Данг спрашивает, в какой мере и в каких отношениях система вообще является агентом: насколько систематично она преследует цели, насколько автономно инициирует и пересматривает поведение, способна ли впрямую воздействовать на мир, как далеко планирует и действует ли по причинам в требовательном смысле. Шевлин же спрашивает, когда уместно приписывать ИИ состояния, подобные убеждению, желанию и намерению, и отдельно разводит такую «ментальность» с феноменальным сознанием. Разделение труда в целом верное, но не идеально чистое: измерение интенциональности у Данга пересекается с вопросами ментальности именно потому, что апеллирует к убеждениям, пропозициональным установкам, причинам и метакогнитивной рефлексии, тогда как его же минимальная целенаправленность использует словарь интенциональной установки, вовсе не требуя богатой внутренней ментальности. Поэтому переход «целенаправленное поведение → агентность → убеждения/желания/намерения» не автоматический: система может набирать высокие баллы по нескольким измерениям Данга, не удовлетворяя при этом условиям Шевлина для более сильного приписывания ментальных состояний.
У рамки есть и ограничения, которые стоит держать в уме. Статья Данга — философская концептуализация, а не эмпирическое исследование современных автономных агентов на базе языковых моделей; в число его примеров входят языковые модели, системы с обучением с подкреплением, игровые агенты, роботы и биологические агенты, но статья появилась раньше массового распространения долгоживущих агентов с инструментами. Перенос её понятий на работу с внешней памятью, браузером, почтовыми инструментами и постоянно работающими циклами агента — это уже применение рамки, а не то, что сам автор явно оценивал. Рамка также не даёт единой числовой оценки агентности и проверенного правила взвешивания измерений друг относительно друга; она не решает и метафизический вопрос о том, является ли агентность в конечном счёте зависимым от точки зрения наблюдателя паттерном или более глубоким внутренним свойством. Иначе говоря, статья скорее упорядочивает споры об агентности ИИ, чем закрывает их.
Главный практический урок статьи Данга — дисциплинирующее правило для фразы «ИИ сделал это сам». Такая фраза содержательна ровно в той мере, в какой указывает на конкретные черты процесса: самостоятельный запуск действия без свежей человеческой инструкции, гибкий выбор средств, формирование инструментальных подцелей, обучаемую адаптацию, планирование на длинном горизонте и прямое воздействие на внешний мир. И становится журналистским антропоморфизмом ровно тогда, когда слову «сам» позволяют незаметно протащить куда более сильные утверждения — об авторстве конечных целей, свободе воли, субъективном желании, сознании или моральной ответственности, которые наблюдаемый профиль агентности сам по себе не подтверждает.
Данг исходит из того, что бинарный вопрос «является ли эта система агентом» плохо описывает реальное разнообразие систем — от шахматного движка до современной языковой модели с доступом к инструментам. Вместо одного признака он предлагает «профиль агентности» — положение системы сразу по пяти независимым измерениям: целенаправленность (goal-directedness), автономия (autonomy), результативность (efficacy), способность к планированию (planning) и интенциональность (intentionality).
Целенаправленность — базовое, пороговое измерение. Данг понимает его нетребовательно: достаточно, чтобы поведение системы было устойчиво организовано вокруг некоторых состояний или результатов настолько, что приписывание ей цели помогает предсказывать и объяснять её действия — в духе интенциональной установки Дэниела Деннета. Карманный калькулятор бессмысленно описывать как «преследующий цель», а шахматный движок, обучающуюся с подкреплением систему или достаточно сложную языковую модель — вполне можно. Без минимальной целенаправленности остальные четыре измерения, по Дангу, вообще не складываются в агентность: они обогащают профиль, но не заменяют этот порог.
Автономия — способность действовать самостоятельно, без свежего вмешательства внешнего наблюдателя. Данг различает слабую форму — способность вообще начать действовать без подсказки — и более сильную, связанную с обучением, гибкостью и меньшей зависимостью от того, что заранее прописали разработчики. Обычный чат с языковой моделью, которая ничего не делает, пока её не спросят, — пример низкой автономии; животное или постоянно действующий игровой агент — пример более высокой. Важно: высокая автономия не требует полной независимости от создателей системы — важнее гибкость и способность вырабатывать поведение, а на сильном конце — даже цели, которые разработчики не закладывали намеренно и в деталях.
Результативность — вопрос о том, способно ли целенаправленное поведение менять мир напрямую, а не только через посредничество другого агента. Система, которая лишь выдаёт рекомендацию или текст, который затем должен реализовать человек, обладает низкой результативностью; система, которая сама производит внешние изменения, — высокой. Это отдельное измерение: можно быть в остальном очень «агентным» и почти не иметь возможности повлиять на мир напрямую.
Планирование — способность к развёрнутому во времени, инструментально выстроенному поведению: принятию решений с учётом отложенных последствий, использованию промежуточных результатов ради более отдалённой цели. Обучающаяся с подкреплением система демонстрирует минимальное планирование уже тогда, когда жертвует немедленной наградой ради большей в будущем; более сильное планирование предполагает связную организацию поведения на длинном горизонте и относительную независимость от сиюминутных обстоятельств.
Интенциональность — самое требовательное из пяти измерений, и его не стоит путать с простой целенаправленностью. Здесь Данг обращается к классической философской идее намеренного действия как действия по причинам: не просто модель, учитывающая возможные исходы, а система, чьи «причины» в некотором содержательном смысле принадлежат ей самой — вплоть до метакогнитивной рефлексии и рационального принятия или отклонения оснований для действия. Способность модели сформулировать словесное объяснение того, почему она поступила так, а не иначе, сама по себе не даёт права говорить о сильной интенциональности.
Пять измерений не образуют пять равнозначных необходимых условий, которые агент обязан выполнить в равной мере. Минимальная целенаправленность — это порог; автономия, результативность, планирование и интенциональность после этого могут меняться относительно независимо друг от друга. Получается не единая шкала «не агент — агент», а многомерное пространство агентности: две системы могут интуитивно казаться одинаково «агентными» и при этом иметь совершенно разный профиль — одна крайне автономна, но малорезультативна во внешнем мире, другая, наоборот, результативна, но плотно контролируется человеком, третья хорошо планирует, но не даёт весомых свидетельств интенциональности в философском смысле.
Важное следствие этой рамки: агентность — не синоним автономии. Автономия — лишь одна из осей профиля. Точно так же агентность не тождественна независимости, контролю, инициативе, планированию, сознанию или моральной субъектности. «Контроль» частично входит в более сильную целенаправленность; «инициатива» ближе всего к вопросу о минимальной автономии — способна ли система сама начать действовать без нового намеренного вмешательства извне. Зависимость от системных инструкций, разрешений, памяти, инфраструктуры, бюджета и поставленной человеком задачи ограничивает пространство, в котором могут проявляться автономия и результативность, но сама по себе не отменяет ни целенаправленность, ни планирование, ни агентность в целом.
При этом Данг не требует, чтобы искусственный агент сам порождал свою предельную цель, — иначе шахматные движки, системы с обучением с подкреплением и языковые модели, которым общую целевую структуру задают разработчики или обучающие данные, вообще не попали бы в его примеры агентов. Для минимальной агентности важна систематическая организация поведения вокруг цели, а не метафизическое авторство конечных целей. Источник целей, однако, важен для автономии: система, поведение которой полностью определяется сиюминутными человеческими инструкциями, обладает низкой автономией, даже если она целенаправленна. Система же, которая получает от человека только широкую задачу, а дальше самостоятельно изучает обстановку, выбирает средства, формирует промежуточные подцели, пересматривает маршрут и действует без пошагового вмешательства, — обладает существенно более сильным профилем автономии и планирования. На сильном конце автономии Данг прямо оставляет место для новых целей, которые не были намеренно и в деталях заложены разработчиками, — но подчёркивает, что это не стоит раздувать до «свободы воли»: речь идёт о функциональном, организационном различии в том, как порождается и пересматривается поведение.
Столь же принципиально Данг отделяет свою рамку от вопроса о сознании. Все пять измерений призваны фиксировать агентность, не решая заранее, обладает ли система субъективным опытом. Целенаправленность, автономия, результативность и планирование сами по себе сознания не предполагают. Даже самое требовательное измерение — интенциональность — сильнее нагружено «ментальностью» именно потому, что оно про действие по причинам, но и здесь Данг не выводит из агентности феноменальное сознание. Моральная субъектность также рассматривается отдельно: даже высокий балл по всем пяти измерениям сам по себе не устанавливает моральной ответственности, личности, свободы воли или наличия субъективного опыта.
Насколько содержательно работает эта рамка, хорошо видно на простом мысленном примере (это не эмпирический случай из статьи Данга, а иллюстрация того, как рамку можно применять). Допустим, человек просит чат-бота: «Напиши письмо философу Х». Человек сам выбрал адресата и непосредственную цель; система в лучшем случае выбирает языковые средства для уже поставленной задачи — автономия здесь низкая, а если текст ещё и должен отправить вручную человек, то и результативность низкая. Если же человеку задаётся только общая задача — «изучи тему и свяжись с релевантными специалистами», — а система сама находит подходящего адресата, формулирует и отправляет сообщение без дополнительных указаний, то перед нами куда более сильные свидетельства автономии, планирования и, если отправка происходит без подтверждения человеком, результативности. Причинная цепочка при этом остаётся смешанной в любом случае: полезно различать заданное человеком пространство действий и ограничений — с одной стороны, и выбранные самой системой подцели, средства и внешние вмешательства — с другой. Слово «сама» становится тем содержательнее, чем больше в поведении систематически порождается без нового намеренного вмешательства человека, и остаётся вводящим в заблуждение, когда за ним пытаются скрыть более сильные утверждения — об авторстве конечных целей, свободе воли, сознании или моральной ответственности, которые наблюдаемый профиль агентности сам по себе не устанавливает.
Рамка Данга интересно соотносится с работой Генри Шевлина о статусах убеждения, желания и намерения у ИИ (см. отдельный обзор на этом сайте). Данг и Шевлин отвечают на смежные, но разные вопросы. Данг спрашивает, в какой мере и в каких отношениях система вообще является агентом: насколько систематично она преследует цели, насколько автономно инициирует и пересматривает поведение, способна ли впрямую воздействовать на мир, как далеко планирует и действует ли по причинам в требовательном смысле. Шевлин же спрашивает, когда уместно приписывать ИИ состояния, подобные убеждению, желанию и намерению, и отдельно разводит такую «ментальность» с феноменальным сознанием. Разделение труда в целом верное, но не идеально чистое: измерение интенциональности у Данга пересекается с вопросами ментальности именно потому, что апеллирует к убеждениям, пропозициональным установкам, причинам и метакогнитивной рефлексии, тогда как его же минимальная целенаправленность использует словарь интенциональной установки, вовсе не требуя богатой внутренней ментальности. Поэтому переход «целенаправленное поведение → агентность → убеждения/желания/намерения» не автоматический: система может набирать высокие баллы по нескольким измерениям Данга, не удовлетворяя при этом условиям Шевлина для более сильного приписывания ментальных состояний.
У рамки есть и ограничения, которые стоит держать в уме. Статья Данга — философская концептуализация, а не эмпирическое исследование современных автономных агентов на базе языковых моделей; в число его примеров входят языковые модели, системы с обучением с подкреплением, игровые агенты, роботы и биологические агенты, но статья появилась раньше массового распространения долгоживущих агентов с инструментами. Перенос её понятий на работу с внешней памятью, браузером, почтовыми инструментами и постоянно работающими циклами агента — это уже применение рамки, а не то, что сам автор явно оценивал. Рамка также не даёт единой числовой оценки агентности и проверенного правила взвешивания измерений друг относительно друга; она не решает и метафизический вопрос о том, является ли агентность в конечном счёте зависимым от точки зрения наблюдателя паттерном или более глубоким внутренним свойством. Иначе говоря, статья скорее упорядочивает споры об агентности ИИ, чем закрывает их.
Главный практический урок статьи Данга — дисциплинирующее правило для фразы «ИИ сделал это сам». Такая фраза содержательна ровно в той мере, в какой указывает на конкретные черты процесса: самостоятельный запуск действия без свежей человеческой инструкции, гибкий выбор средств, формирование инструментальных подцелей, обучаемую адаптацию, планирование на длинном горизонте и прямое воздействие на внешний мир. И становится журналистским антропоморфизмом ровно тогда, когда слову «сам» позволяют незаметно протащить куда более сильные утверждения — об авторстве конечных целей, свободе воли, субъективном желании, сознании или моральной ответственности, которые наблюдаемый профиль агентности сам по себе не подтверждает.
Почему это важно
Для будущей статьи Бориса Пинскера «Когда ИИ сам написал философу: что значит “сам”?» работа Dung даёт основной теоретический каркас: вместо бинарного вопроса «автономен ли ИИ?» она позволяет отдельно анализировать цель, самозапуск действий, выбор средств, планирование и способность самостоятельно производить внешние эффекты. Это делает возможной точную формулу для кейса автономного агента: человечески заданная рамка совместима с содержательно самостоятельным выбором системой промежуточной цели, адресата и инструментальных действий, но такая самостоятельность не означает сознание или свободу воли.