Способы и причины взаимодействия между агентами

К базовым видам взаимодействия между агентами относятся:

• кооперация (сотрудничество);

• конкуренция (конфронтация, конфликт);

• компромисс (учет интересов других агентов);

• конформизм (отказ от своих интересов в пользу других);

• уклонение от взаимодействия.

Интеллектуальные агенты сотрудничают с другими агентами «сознательно», преследуя при этом определенные цели. Коопера­цию в сообществе реактивных агентов можно назвать непредна­меренной, поскольку она базируется на естественных реакциях отдельных агентов, направленных на выживание вида. Показате­ли выживания отражают способность особи или группы сохра­нять свою целостность при воздействиях факторов, которые мо­гут ее разрушить. Кооперация между агентами может возникать на принудительных началах (директивная кооперация) или на ос­нове добровольных отношений (ситуативная кооперация). Эти два вида сотрудничества часто представлены так называемой кон­трактной формой кооперации, когда взаимодействие агентов регламентируется набором формальных или неформальных со­глашений между ними.

Взаимодействие агентов обусловлено целым рядом причин, важнейшими среди которых являются следующие.

Совместимость целей (общая цель). Эта причина обычно по­рождает взаимодействие по типу кооперации или сотрудничест­ва. При этом следует выяснить, не ведет ли взаимодействие к снижению жизнеспособности отдельных агентов. Несовмести­мость целей или убеждений обычно порождает конфликты, по­зитивная роль которых заключается в стимулировании процессов развития. Известная модель хищник-жертва представляет собой пример одновременного взаимодействия по двум типам коопера­ция-конфронтация.

Отношение к ресурсам. Ресурсами будем называть любые средства, используемые для достижения агентами своих целей. Задачи распределения долей рынка, затрат и прибылей совмест­ных предприятий можно рассматривать как примеры взаимодей­ствия, обусловленного общими ресурсами. Ограниченность ре­сурсов, которые используются многими агентами, обычно по­рождает конфликты. Одним их самых простых и эффективных способов разрешения подобных конфликтов является право силь­ного — сильный агент отбирает ресурсы у слабых. Более тонкие способы разрешения конфликтов обеспечивают переговоры [13], направленные на достижение компромиссов, в которых учитыва­ются интересы всех агентов.

Необходимость привлечения недостающего опыта.Каждый агент обладает ограниченным набором знаний, необходимых ему для реализации собственных и общих целей. В связи с этим ему приходится взаимодействовать с другими агентами. При этом

возможны различные ситуации: а) агент способен выполнить за­дачу самостоятельно; б) агент может обойтись без посторонней помощи, но кооперация позволит решить задачу более эффек­тивным способом; в) агент не способен решить задачу в одиноч­ку. В зависимости от ситуации агенты выбирают тип взаимодей­ствия и могут проявлять разную степень заинтересованности в сотрудничестве.

Взаимные обязательства. Обязательства являются одним из инструментов, позволяющих упорядочить хаотические взаимо­действия агентов. Они позволяют предвидеть поведение других агентов, прогнозировать будущее и планировать собственные действия. Можно выделить следующие группы обязательств: а) обязательства перед другими агентами; б) обязательства агента перед группой; в) обязательства группы перед агентом; г) обяза­тельства агента перед самим собой. Формальное представление целей, обязательств, желаний и намерений, а также всех осталь­ных характеристик составляет основу ментальной модели интел­лектуального агента, которая обеспечивает его мотивированное поведение в автономном режиме.

Перечисленные причины в различных сочетаниях могут при­водить к разным формам взаимодействия между агентами, на­пример:

• простое сотрудничество, которое предполагает интеграцию опыта отдельных агентов (распределение задач, обмен знаниями и т. п.) без специальных мер по координации их действий;

• координируемое сотрудничество, когда агенты вынуждены согласовывать свои действия (иногда привлекая специального агента-координатора) для того, чтобы эффективно использовать ресурсы и собственный опыт;

• непродуктивное сотрудничество, когда агенты совместно используют ресурсы или решают общую проблему, не обмениваясь опытом и мешая друг другу (как лебедь, рак и щука в басне И.А. Крылова).

2.2. Моделирование взаимодействия в мультиагентных системах

Рассматривая проблему моделирования взаимодействия агентов друг с другом и с окружающей средой, Д. А. Поспелов выделил следующие основные признаки естественных систем,

которые необходимо учитывать при моделировании виртуальных сред.

1. Конечность времени существования любого агента. Длительность жизни агента зависит от различных обстоятельств, в частности от поставленной перед ним задачи, от величины доступных ресурсов и т. п.

2. Использование механизма биологического отбора в моделях искусственной жизни. Естественный отбор эффективных агентов может осуществляться в адаптивных системах с использованием различных эволюционных механизмов (обучаемых нейронных сетей, генетических алгоритмов, автоматов с перестраиваемой структурой и т. д.).

3. Учет уровня организации сообщества агентов. Если модель описывает взаимодействие сложных организмов, имеющих социальную организацию, то помимо реактивности, активности и когнитивности (способность к рассуждениям) агенты приобретают еще одно свойство — социальность. В таких моделях возникает необходимость учета социального статуса и социальных отношений. Распределение труда в обществе служит основой для выделения классов агентов, выполняющих специализированные функции, в том числе функции управления искусственной средой. Задача распределения функций приводит к необходимости реализации механизма социального отбора, который принципиально отличается от биологического принципа.

Вопросы организации сообщества искусственных организмов по образу и подобию человеческого общества связывают теорию MAC с системным анализом, теорией организаций, теорией ад­министративного управления и т. п. Серьезной и пока не решен­ной проблемой является морально-этическая основа организа­ции мультиагентных систем, связанная с формированием поня­тий об основных ценностях и нормах, принятых в обществе. Ориентация на модели нормативного поведения агентов вызывает дискуссии, так как наряду с нормативным в реальном обществе имеет место и ненормативное поведение [9].

Коллективное поведение агентов в MAC предполагает коопе­рацию агентов при коллективном решении задач. В процессе ра­боты мультиагентной системы агент может обращаться за помо­щью к другим агентам, если не в состоянии решить поставлен­ную перед ним задачу самостоятельно. При этом агенты могут строить планы совместных действий, не только полагаясь на свои

возможности, но анализируя планы и намерения других членов коллектива. Моделирование коллективного поведения необхо­димо также в случаях, когда агенты для решения своих задач ис­пользуют общий ограниченный ресурс. Каждый агент вынужден учитывать наличие других агентов, а выбор стратегии действий одного агента обычно зависит от поведения остальных.

Проблемы коллективного поведения рассматриваются в тео­рии систем, в теории управления и в теории игр. Основной идеей системного анализа является применение декомпозиции исход­ной задачи на более простые, из решения которых может быть найдено решение задачи в целом. В мультиагентных системах идея декомпозиции воплотилась в принцип распределенного ре­шения подзадач с их координацией для получения стратегии кол­лективного поведения.

В процессе моделирования коллективной работы агентов воз­никает множество проблем :

• распознавание необходимости кооперации;

• выбор подходящих партнеров;

• возможность учета интересов партнеров;

• организация переговоров о совместных действиях;

• формирование планов совместных действий;

• синхронизация совместных действий;

• декомпозиция задач и разделение обязанностей;

• выявление конфликтующих целей;

• конкуренция за совместные ресурсы;

• формирование правил поведения в коллективе;

• обучение поведению в коллективе и т. д. Особенностью коллективного поведения агентов является то,

что их взаимодействие в процессе решения частных задач (или одной общей) порождает новое качество решения этих задач. При этом в моделях координации поведения агентов использу­ются следующие основные идеи .

1. Отказ от поиска наилучшего решения в пользу «хорошего», что приводит к переходу от процедуры строгой оптимизации к поиску приемлемого компромисса, реализующего тот или иной принцип координации.

2. Использование самоорганизации в качестве устойчивого механизма формирования коллективного поведения.

3. Применение рандомизации (случайно-вероятностного способа выбора решений) в механизмах координации для разрешения конфликтов.

3.4.Реализация рефлексивного управления, сущность кото­рого заключается в том, чтобы заставить субъекта осознанно под­чиняться влиянию извне, т. е. сформировать у него такие жела­ния и намерения (интенции), которые совпадают с требованиями окружения.

4.Наиболее известными моделями координации поведения агентов являются: теоретико-игровые модели, модели коллек­тивного поведения автоматов, модели планирования коллектив­ного поведения, модели на основе BDI-архитектур (Belief -Desire - Intention), модели координации поведения на основе конкуренции.

5.Теоретико-игровые модели. Предметом теории игр являются задачи выбора решений в условиях неопределенности и кон­фликта. Наличие конфликта предполагает существование как минимум двух участников, которых называют игроками. Множе­ство решений, возможных для выбора каждым игроком, называ­ется стратегией. Равновесными точками игры (оптимальными ре­шениями) называют такие состояния, когда ни одному из игро­ков невыгодно менять свою позицию. Понятие равновесия ока­залось весьма полезным в теории MAC, поскольку механизм по­иска равновесных ситуаций может использоваться как средство самоорганизации коллективного поведения агентов. Следствием подобной интерпретации является подход, в котором необходи­мые атрибуты коллективного поведения агентов обеспечиваются путем конструирования правил игры. Кроме того, на основе раз­вития теории игр в области MAC предпринимаются попытки по­строения эффективных, устойчивых, полностью распределенных протоколов переговоров, направленных на координацию кол­лективного поведения агентов.

6.Множество возможных ситуаций выбора поведе­ния пары агентов классифицируется следующим образом.

6.1. Симметричная кооперация, когда существует непустое мно­жество стратегий (переговорное множество), при использовании которых оба агента достигают своих целей и получают больший эффект, чем в ситуациях, когда они действуют поодиночке.

6.2.Симметричный компромисс, когда достижение цели в одиночку более выгодно для каждого агента, однако невозможно в присутствии другого агента.

6.3.Несимметричная кооперация или несимметричный компромисс — один из агентов может самостоятельно достичь своей цели в присутствии другого агента, а другой — только за счет кооперации с первым.

7.Конфликт — переговорное множество пусто, т. е. не существует стратегий, обеспечивающих достижение целей обоих агентов.

Теоретико-игровые модели позволяют для всех перечисленных случаев сконструировать на­боры правил переговоров, следуя которым агенты придут к неко­торому соглашению, отвечающему состоянию равновесия. Это достигается за счет использования множества дополнительных предположений и специальных приемов. Например, кроме стои­мости цели в рассмотрение вводится понятие ценности цели, а в качестве одной из возможных стратегий может выступать страте­гия манипулирования информацией о ценности целей (т. е. аген­ты могут сообщать друг другу заведомо ложные значения). При этом «нечестные» агенты могут либо увеличить свой доход, либо освободиться от части своей работы.

Модели коллективного поведения автоматов. Они основаны на идеях рандомизации, самоорганизации и полной распреде-ленности . Модели этого типа подходят для построения протоколов переговоров в задачах, которые характеризуются большим количеством очень простых взаимодействий с неизве­стными характеристиками.

8.Модели планирования коллективного поведения. Планирование может быть централизованным, частично централизованным или распределенным (децентрализованным). В последнем случае агенты сами принимают решения о выборе своих действий в про­цессе координации частных планов, в связи с чем возникают во­просы о рациональной децентрализации, о возможности измене­ния целей при возникновении конфликтов, а также проблемы вычислительной сложности.

9.Модели на основе BDI-архитектур. В моделях этого класса применяются аксиоматические методы теории игр и логи­ческой парадигмы искусственного интеллекта. Для описания агентов используются логические средства, в том числе темпо­ральные и модальные логики. Акцент делается на описании интенсиональных понятий, таких, как убеждения (belief), желания (desire) и намерения (intention). Задача координации поведения агентов решается путем согласования результатов логического вывода в базах знаний отдельных агентов, полученных для теку­щего состояния внешней среды, в которой действуют агенты. Ло­гический вывод осуществляется непосредственно в процессе функционирования агентов, что приводит к высокой сложности моделей, вычислительным трудностям и к проблемам, связан­ным с аксиоматическим описанием нетривиальных ситуаций, например, когда перед агентом возникает выбор между решени­ем собственной задачи и выполнением обязательств по отноше­нию к партнерам.

Модели на основе конкуренции. Вмоделях данного класса ис­пользуется понятие аукцион в качестве механизма координации поведения агентов. Использование механизма аукциона основа­но на предположении о возможности явной передачи «полезнос­ти» от одного агента к другому или к агенту-аукционеру, причем эта полезность обычно имеет смысл денег .