Селмер Бринсжор, глава департамента когнитивных исследований, Политический институт Ренсселера (Нью-Йорк, США):

Я стал заниматься этикой роботов 10 лет назад. Тогда кто-то считал нас экзотичными ребятами, а кто-то — сумасшедшими. Удивительно, сколько всего изменилось за эти 10 лет: теперь нас никто не считает сумасшедшими. Прямо сейчас я работаю над исследованием: допустимо ли с этической точки зрения позволять роботу совершать суицид. Дедлайн для исследования в январе, работаем активно. Для меня работа над роботом — это такая форма психотерапии, психоанализа. Копаясь в роботах, я копаюсь в себе, разбираюсь в том, как я устроен.

Я работаю с роботами в своей лаборатории — у меня тут целая команда маленьких гуманоидов, над которыми я ставлю эксперименты. И сейчас я пытаюсь разобраться, что может привести моих гуманоидов к суициду. Задаюсь вопросами: может ли робот захотеть закончить свою жизнь по тем же причинам, по которым это иногда делают люди — в жизни нет смысла, у меня депрессия и так далее. И еще вопрос: можем ли мы, люди, позволить роботам этот суицид совершить.

Вы спросите: но как у робота может быть депрессия? Я не говорю, что у робота может быть внутренний мир и что он может испытывать эмоции. Нет, не может, потому что у него нет сознания. Но мы программируем роботов так, чтобы они демонстрировали 35 разных эмоциональных состояний. Чистая математика. Но иногда и в математике что-то может пойти не так. Может произойти сбой, и у робота может начаться депрессия.

Давайте поясню про эмоции. Например, робот может покурить сигарету, но не сможет от этого получить такого же удовольствия, как человек. Или давайте возьмем пример с лыжами. Я вчера катался на лыжах. И я испытывал очень много эмоций — от неописуемого восторга до легкого страха. Но такие переживания нельзя математически описать, а значит, нельзя и запрограммировать. У робота есть 35 эмоциональных состояний, но это именно математическая структура эмоции, а не эмоция в чистом виде.

По мере того как роботы будут развиваться, они будут становиться все более умными и автономными. У них будет много эмоциональных состояний, и в какой-то момент может случиться сбой в системе и робот может захотеть закончить свою жизнь. Но для людей не выгодно, чтобы робот спонтанно совершал суицид — зачем нам терять наших роботов? Ну вы представьте, у вас робот на работе помогает носить тяжелые коробки, а потом вдруг пришел и решил, что жить не хочет, и убился. Кому это надо? Если мы разрабатываем по-настоящему автономные машины, свободные существа (а мы движемся именно в этом направлении), то вопрос, как предотвратить суицид, — это очень важный вопрос.

Вы, конечно, можете наложить определенные ограничения на то, что робот может или не может делать, но это сложно — вы же сами его запрограммировали быть свободным и автономным. Конечно, можно писать простые программы — робот может только делать шаг вперед и два назад, — и тогда таких проблем не будет. Но кому нужны такие роботы? Мы же хотим именно создавать более умные технологии, а умные — значит независимые.

И тогда вопрос: как исследовать желание суицида с математической точки зрения. Как нам, используя математику, сконструировать робота так, чтобы сбоя не произошло. Может ли быть этически допустимо, чтобы робот такое вообще захотел. И я считаю, что морально недопустимо совершать суицид, когда легкая депрессия. Вот это «у меня нет мечты», «мне скучно на работе». Потому что депрессия такая штука — сегодня есть, а завтра нет. Поэтому ответ на наше исследование таков: в большей части случаев нет, это недопустимо. Но если роботу начинает казаться, что он настолько дисфункционален, как будто вообще не существует, если у него необратимо погиб мозг и его в его теле больше нет, тогда ок, он может убиться. Теперь вопрос: как сделать так, чтобы робот не впал в эту ловушку, не почувствовал себя мертвым? Этого мы пока не поняли, но продолжаем изучать. Это ужасно любопытно — превращать этику в математику.

Раньше людям казалось странным думать о том, чтобы снабжать робота этическими нормами, но теперь все больше и больше людей понимают необходимость этого.

Не страшно ли мне заниматься тем, чем я занимаюсь, не страшно ли мне за наше будущее? Нет, поверьте, если не решить все эти вопросы сейчас и оставить все в хаотическом состоянии, вот тогда будет по-настоящему страшно. Если мы просто построим автономные машины и не подумаем заранее, как предохранить их от плохих дел, вот тогда у нас реальные проблемы. Тогда они смогут нас травмировать и даже убить. Вот почему так важно работать над этикой роботов сегодня. Когда у вас растет ребенок, и по мере того как у него появляется интеллект, вы же не думаете: «Ну ладно, побеспокоюсь о его воспитании завтра». Такие процессы важно отслеживать вовремя. И я переживаю, что люди сегодня не до конца понимают важность этой проблемы.

Ноэль Шарки, главный судья на передаче телеканала ВВС «Битвы роботов», директор Международного комитета контроля за боевыми роботами (Великобритания):

Я возглавляю НКО Международный комитет контроля за боевыми роботами, он был запущен в 2009 году, чтобы инициировать обсуждения боевых роботов. И говорим мы там не о дронах, потому что дроны хоть как-то контролируются человеком. Боевые роботы отличаются от дронов тем, что существуют совершенно автономно — выбирают себе человеческую мишень и уничтожают ее без всякого контроля со стороны человека. Сейчас к нашим разговорам начинают присоединяться большие организации — Human Rights Watch и Amnesty International. И все вместе мы запустили кампанию «Остановите роботов-убийц» в ООН. В ближайшие недели мы соберемся группой экспертов правительственного уровня, включая экспертов из России и Китая. Там будут представители 121 стран.  

Что мы там обсуждаем? Основной вопрос — это то, как новые технологии сталкиваются с международным гуманитарным правом, в котором прописаны правила ведения войны. У нас нет совершенно никакой уверенности в том, что независимые боевые роботы собираются эти правила соблюдать.

Один из вопросов, который нас беспокоит, — это как роботы будет соблюдать принцип различия. Принцип различия подразумевает, что военные силы направляются только на противника и его оружие, а причинение вреда гражданскому населению не допускается. Чтобы соблюдать этот принцип, нужно точно определять лица и объекты, на которые позволено нападать. Это все прописано в Женевской конвенции. Солдат должен отличать гражданского от солдата. Боевые роботы на данный момент в своем развитии на это неспособны. Они еще могут отличить танк от грузовика. Но в мире людей, где солдаты и гражданские перемешаны, особенно если речь идет о повстанцах — все эти категории людей для робота на одно лицо.

Еще один принцип — принцип пропорциональности. Я не люблю этот принцип, но его суть сводится к тому, что если вы убиваете гражданское население противника, то количество убитых должно быть прямо пропорционально их военному превосходству. И нет никакой программы, которая может посчитать это заранее — только опытный командир в поле может принять такое решение.

Есть еще один философский аргумент, онтологический. Считается, что это не достойно человека — позволить роботу убить другого человека. Вот вам ключевая разница между тем, когда робот убивает человека и когда человек убивает человека. Когда человек убивает человека, он тратит минуту, чтобы наставить оружие, осознать, что сейчас он лишает человека жизни, и в конце концов убить его. Но когда робот убивает человека, он не думает, ничего не осознает, потому что у него нет сознания. Достойно ли это человека, лишать другого человека жизни неосознанным путем?

Еще один аргумент — консеквенциалистский. Сторонники этого подхода считают, что, если хотя бы часть военных заменят роботы, умрет меньше людей. Но противники этого подхода говорят, что это ужасно эгоистичный подход: консеквенциалисты думают только о своих солдатах, а вообще-то надо думать обо всех, иначе под угрозой уже вся международная безопасность.

Питер Асаро, профессор, департамент философии науки, технологии и медиа в Новой Школе (Нью-Йорк, США):

Вопрос, который меня больше всего беспокоит: можем ли мы позволять роботам совершать умышленное насилие? Допустимо ли в нашем мире наделять робота полномочиями охранника или военного? Я написал про это с десяток научных статей и сейчас взялся за книгу. Когда будет создан такой прецедент, мы, все человечество, окажемся по ту сторону зазеркалья. И как нам регулировать роботов, как понимать, какие формы насилия они могут совершать против нас, а какие нет?

Убивать вообще нехорошо, убивает ли робот или человек. Но здесь речь идет о том, чтобы сформировать целую индустрию, задача которой будет оптимизировать процесс убийства, еще эффективнее убивать людей. Разница между тем, когда робот убивает человека или человек человека, в следующем: традиционно считается, что человек может применять насилие, только если его собственная жизнь в опасности. Роботы не способны оценить, в опасности ли их жизнь. И мы можем запрограммировать роботов убивать, но насколько это морально — открытый вопрос. Роботы не люди, у них нет права на самозащиту.

Я надеюсь, что в ближайшем будущем в ООН будет подписан договор, который будет хоть как-то регулировать возможности боевых роботов. Сейчас все к этому идет. В ООН уже на этот счет встречаются эксперты на правительственном уровне. Думаю, года через два-три они смогут подписать договор. Но проблема в том, что за два-три года страны могут разработать новые виды боевых роботов, вложить в это много средств и не захотеть отказываться от своих роботов. Тогда подписание этого договора окажется под угрозой.

Джейсон Миллар, профессор Карлтонского университета (Оттава, Канада), сотрудничает со Стэнфордским университетом в исследовательском проекте «Этическое программирование беспилотных машин»:

Популярная тема — права робота. Что произойдет, когда у робота появится сознание? Какими правами необходимо его наделить? Но этот вопрос больше интересует поклонников Sci-Fi сегодня, чем философов. Хотя, если вы почитаете оксфордского философа Ника Бострома, он эту тему обожает и получает отличные гранты на исследования. Но когда вы говорите с инженерами, которые реально производят роботов и искусственный интеллект, — их такие вопросы совершенно не беспокоят: они считают, что ответ либо «никогда», либо «очень не скоро». Но это очень горячая тема для СМИ. И какой бы она ни была непрактичной, о ней много пишут.

Чарльз Эсс, PHD, директор центра по исследованию медиаинноваций, Университет Осло (Осло, Норвегия):

Когда мы говорим об отношениях человека и секс-робота, встает вопрос про права робота. Многие говорят, что по мере того как робот будет становиться автономным, необходимо будет признавать и какие-то их базовые права на уважение. И тогда вопрос: если ты секс-робот, но сегодня не хочешь секса, можешь ли ты отказать человеку? А дальше уже вопрос: если секс-робот откажет человеку, может ли человек его насильно принудить? Может ли робот после такого инцидента вызывать своего насильника в суд?