НЕ-факторы и фантомные агенты: почему машины ошибаются в людях
Машина может построить модель человека и ошибиться в нём. Как советские и российские учёные исследовали неполные знания, отношения и чужие представления — и почему эти работы важны сегодня?
Человек может говорить одно, думать другое, а поступать совсем иначе. Мы пытаемся понять его по словам и действиям, учитываем обстоятельства и прежний опыт общения. Предполагаем, что он знает, чего хочет и как поведёт себя в следующий раз.
В аннотации к книге Дмитрия Поспелова и Модеста Гаазе-Рапопорта «От амёбы до робота: модели поведения» (1987) поставлен вопрос: «Как наука о поведении живых организмов, включая человека, может быть полезна при создании искусственных систем, наделенных элементами разума?»
Исследователи рассматривали, как усложняются формы поведения — от реакции на внешние сигналы и формирования памяти до обучения, предвидения и взаимодействия с другими. Их интересовало, какие механизмы поведения можно описать формально и воспроизвести в искусственной системе.
История искусственного интеллекта — это не только история машин и алгоритмов. Учёные также пытались научить машину понимать значения слов, отношения между объектами и представления людей друг о друге.
От слов к значениям
К концу 1950-х годов исследователи уже описывали машинный перевод как последовательность формальных операций. В работе «Операторное описание алгоритмов перевода» (1959) Ольга Кулагина разделила их на проверочные, результирующие и нейтральные. Машина должна была анализировать сведения о словах, проверять их признаки, искать связи с другими словами и выбирать следующий шаг обработки. Так сложная языковая задача превращалась в алгоритм, состоящий из отдельных действий.
В 1975 году Андрей Ершов, Игорь Мельчук и Александр Нариньяни предложили нереализованный проект РИТА — системы взаимодействия с вычислительной машиной на естественном языке. Она должна была создавать простые геометрические изображения по русскому описанию и выполнять обратную операцию.
Чтобы связать текст с изображением, исследователи предложили семантическую модель. Она должна была описывать объекты и связи между ними. Это позволило бы машине сопоставлять разные описания одной ситуации.
НЕ-факторы
В 1986 году Александр Нариньяни предложил термин «НЕ-факторы». Так он назвал свойства знаний, которые трудно описать строгими правилами: неполноту, неопределённость и неточность.
Например, когда машине неизвестно, истинно ли утверждение, это не то же самое, что ситуация, в которой разные источники сообщают противоречащие друг другу сведения. В первом случае информации недостаточно, во втором — она противоречива.
В статье 2003 года Нариньяни приводит пример. Двое ждут знакомого. Один замечает Петю, но другой не понимает, о ком речь. Они смотрят на одного человека, но узнают его по разным признакам: имени, внешности и одежде.
Машине недостаточно определить, о ком говорят люди. Она должна учитывать, что каждый человек может знать о нём разное и по-своему понимать ситуацию.
Иванов — начальник Петрова
В 1986 году Дмитрий Поспелов в книге «Ситуационное управление. Теория и практика» исследовал, как представить окружающий мир в виде системы объектов, отношений и ролей.
«Семантика отношений неразрывно связана с теми ролями, в которых выступают элементы, связанные отношением», — писал он. Простой пример — «Иванов — начальник Петрова». Иванов здесь выступает в роли начальника, Петров — подчинённого. Если поменять их местами, участники останутся прежними, но смысл ситуации изменится.
Машине недостаточно распознать имена Иванова и Петрова. Ей нужно понять, кто кому подчиняется.
Поспелов рассматривал такие отношения как элементы формального описания ситуации. Это позволяло поставить более сложную задачу: как научить машину работать не с отдельными объектами, а со структурой окружающего мира.
Фантомный агент
В 2003 году математики Дмитрий Новиков и Александр Чхартишвили в книге «Рефлексивные игры» развили идеи рефлексивного моделирования, предложив модель взаимодействия реальных и фантомных агентов.
Представим двух человек, А и Б. А уверен, что Б — его друг. Но Б в действительности относится к нему как к врагу и знает о его заблуждении. Принимая решения, А ориентируется не на реального Б, а на существующий в его сознании образ друга.
«Его нет в реальности, но он присутствует в сознании реального агента А», — объясняют авторы.
Такой образ они называют фантомным агентом. Он не существует как самостоятельный участник реальности, но влияет на реальные поступки.
Чтобы объяснить эту идею, исследователи обращаются к картине Эдварда Бёрн-Джонса «Смертоносная голова», основанной на мифе о Персее и Медузе. На картине Андромеда видит отражения, а не непосредственно всех участников происходящего. Математики изображают отношения между персонажами и их отражениями в виде графа, где отражения становятся отдельными элементами модели.
Много-много агентов
В конце 1990-х годов Владимир Городецкий, Михаил Грушинский и Александр Хабалов обобщили исследования многоагентных систем. В таких системах задача распределяется между несколькими участниками, каждый из которых может располагать собственными знаниями и возможностями.
Чтобы действовать вместе, агенты должны согласовывать свои действия. Для этого им нужны данные о других агентах, доступных ресурсах и общей задаче.
В 2019 году Мария Ровбо и Елена Овсянникова сравнили три способа координации программных агентов. В одном из них использовались локальные доски объявлений. Каждый агент мог принимать решения на основе информации от соседей. Эксперимент проводился в симуляции ассистируемого передвижения.
Так возникает ещё одно различие. Можно построить модель другого участника, но для совместного действия необходимо также согласовать с ним собственное поведение. Именно эта задача становится предметом многоагентных исследований.
Когда модель начинает влиять на человека
Машина может предсказать поступок, не понимая его причин. Для этого ей достаточно найти закономерности в поведении человека.
Но рекомендательные алгоритмы не только изучают наши действия. Они выбирают, что мы увидим дальше, и тем самым влияют на наш следующий выбор.
Алгоритм принимает решения на основе модели человека, а не полного знания о нём. Если модель ошибается, система может не только сделать неверный прогноз, но и повлиять на следующий выбор человека.