Лучшее за неделю

НЕ-факторы и фантомные агенты: почему машины ошибаются в людях

Машина может построить модель человека и ошибиться в нём. Как советские и российские учёные исследовали неполные знания, отношения и чужие представления — и почему эти работы важны сегодня?

Человек может говорить одно, думать другое, а поступать совсем иначе. Мы пытаемся понять его по словам и действиям, учитываем обстоятельства и прежний опыт общения. Предполагаем, что он знает, чего хочет и как поведёт себя в следующий раз.

В аннотации к книге Дмитрия Поспелова и Модеста Гаазе-Рапопорта «От амёбы до робота: модели поведения» (1987) поставлен вопрос: «Как наука о поведении живых организмов, включая человека, может быть полезна при создании искусственных систем, наделенных элементами разума?»

Исследователи рассматривали, как усложняются формы поведения — от реакции на внешние сигналы и формирования памяти до обучения, предвидения и взаимодействия с другими. Их интересовало, какие механизмы поведения можно описать формально и воспроизвести в искусственной системе.

История искусственного интеллекта — это не только история машин и алгоритмов. Учёные также пытались научить машину понимать значения слов, отношения между объектами и представления людей друг о друге.

От слов к значениям

К концу 1950-х годов исследователи уже описывали машинный перевод как последовательность формальных операций. В работе «Операторное описание алгоритмов перевода» (1959) Ольга Кулагина разделила их на проверочные, результирующие и нейтральные. Машина должна была анализировать сведения о словах, проверять их признаки, искать связи с другими словами и выбирать следующий шаг обработки. Так сложная языковая задача превращалась в алгоритм, состоящий из отдельных действий.

Иллюстрация к изложению сообщения О. С. Кулагиной «О теоретико-информационном подходе к изучению теоретико-множественных моделей языка»

В 1975 году Андрей Ершов, Игорь Мельчук и Александр Нариньяни предложили нереализованный проект РИТА — системы взаимодействия с вычислительной машиной на естественном языке. Она должна была создавать простые геометрические изображения по русскому описанию и выполнять обратную операцию.

Чтобы связать текст с изображением, исследователи предложили семантическую модель. Она должна была описывать объекты и связи между ними. Это позволило бы машине сопоставлять разные описания одной ситуации.

НЕ-факторы

В 1986 году Александр Нариньяни предложил термин «НЕ-факторы». Так он назвал свойства знаний, которые трудно описать строгими правилами: неполноту, неопределённость и неточность.

Например, когда машине неизвестно, истинно ли утверждение, это не то же самое, что ситуация, в которой разные источники сообщают противоречащие друг другу сведения. В первом случае информации недостаточно, во втором — она противоречива.

Александр Семёнович Нариньяни. «Недоопределенность в системе представления и обработки знаний»

В статье 2003 года Нариньяни приводит пример. Двое ждут знакомого. Один замечает Петю, но другой не понимает, о ком речь. Они смотрят на одного человека, но узнают его по разным признакам: имени, внешности и одежде.

Машине недостаточно определить, о ком говорят люди. Она должна учитывать, что каждый человек может знать о нём разное и по-своему понимать ситуацию.

Иванов — начальник Петрова

В 1986 году Дмитрий Поспелов в книге «Ситуационное управление. Теория и практика» исследовал, как представить окружающий мир в виде системы объектов, отношений и ролей.

«Семантика отношений неразрывно связана с теми ролями, в которых выступают элементы, связанные отношением», — писал он. Простой пример — «Иванов — начальник Петрова». Иванов здесь выступает в роли начальника, Петров — подчинённого. Если поменять их местами, участники останутся прежними, но смысл ситуации изменится.

Машине недостаточно распознать имена Иванова и Петрова. Ей нужно понять, кто кому подчиняется.

Д. А. Поспелов. «Ситуационное управление. Теория и практика». М.: Наука, 1986

Поспелов рассматривал такие отношения как элементы формального описания ситуации. Это позволяло поставить более сложную задачу: как научить машину работать не с отдельными объектами, а со структурой окружающего мира.

Фантомный агент

В 2003 году математики Дмитрий Новиков и Александр Чхартишвили в книге «Рефлексивные игры» развили идеи рефлексивного моделирования, предложив модель взаимодействия реальных и фантомных агентов.

Представим двух человек, А и Б. А уверен, что Б — его друг. Но Б в действительности относится к нему как к врагу и знает о его заблуждении. Принимая решения, А ориентируется не на реального Б, а на существующий в его сознании образ друга.

«Его нет в реальности, но он присутствует в сознании реального агента А», — объясняют авторы.

Такой образ они называют фантомным агентом. Он не существует как самостоятельный участник реальности, но влияет на реальные поступки.

Чтобы объяснить эту идею, исследователи обращаются к картине Эдварда Бёрн-Джонса «Смертоносная голова», основанной на мифе о Персее и Медузе. На картине Андромеда видит отражения, а не непосредственно всех участников происходящего. Математики изображают отношения между персонажами и их отражениями в виде графа, где отражения становятся отдельными элементами модели.

Граф персонажей и их отражений в картине Эдварда Бёрн-Джонса «Смертоносная голова». Из книги Д. А. Новикова и А. Г. Чхартишвили «Рефлексивные игры»

Много-много агентов

В конце 1990-х годов Владимир Городецкий, Михаил Грушинский и Александр Хабалов обобщили исследования многоагентных систем. В таких системах задача распределяется между несколькими участниками, каждый из которых может располагать собственными знаниями и возможностями.

Чтобы действовать вместе, агенты должны согласовывать свои действия. Для этого им нужны данные о других агентах, доступных ресурсах и общей задаче.

В 2019 году Мария Ровбо и Елена Овсянникова сравнили три способа координации программных агентов. В одном из них использовались локальные доски объявлений. Каждый агент мог принимать решения на основе информации от соседей. Эксперимент проводился в симуляции ассистируемого передвижения.

Так возникает ещё одно различие. Можно построить модель другого участника, но для совместного действия необходимо также согласовать с ним собственное поведение. Именно эта задача становится предметом многоагентных исследований.

Когда модель начинает влиять на человека

Машина может предсказать поступок, не понимая его причин. Для этого ей достаточно найти закономерности в поведении человека.

Но рекомендательные алгоритмы не только изучают наши действия. Они выбирают, что мы увидим дальше, и тем самым влияют на наш следующий выбор.

Алгоритм принимает решения на основе модели человека, а не полного знания о нём. Если модель ошибается, система может не только сделать неверный прогноз, но и повлиять на следующий выбор человека.