Продолжение. Первую часть читайте здесь: «Четвертая мировая. Начало»

В 1939 году Альберт Эйнштейн написал президенту Франклину Рузвельту письмо, ставшее впоследствии знаменитым. В нем автор теории относительности фактически потребовал от США начать работы по созданию атомной бомбы. В противном случае, объяснял Эйнштейн, гитлеровская Германия создаст это смертоносное оружие раньше и судьба мира будет предрешена.

Стивен Хокинг — Эйнштейн нашего времени, но сейчас президентам письма не пишут. И президенты уже не те, да и что они могут? В 2014 году Хокинг выступил на BBC с пугающим прогнозом: «Разработка полноценного искусственного интеллекта может означать конец человеческой расы». Илон Маск отозвался в своем твиттере: «Нам нужно быть предельно аккуратными с искусственным интеллектом. Потенциально он куда более опасен, нежели ядерные боеголовки».

Уже в 2015 году Илон Маск основывает некоммерческую компанию OpenAI, ее цель — создать открытый и дружественный человеку искусственный интеллект, в противовес «злонамеренному искусственному интеллекту», над которым, как считается, работают все остальные — от Сергея Михайловича Брина до Рэймонда Курцвейла. Так что в этой истории кроме современного Эйнштейна есть и свой Роберт Оппенгеймер.

Маск провел переговоры с десятью ведущими специалистами по искусственному интеллекту. Девять из них согласились присоединиться к благотворительному проекту: они оставили свои руководящие должности и баснословные зарплаты, чтобы попытаться спасти мир. И число этих Робин Гудов, надо сказать, неуклонно растет. Да, OpenAI Илона Маска — это новый «Манхэттенский проект».

Итак, кто современный Эйнштейн, а кто Оппенгеймер — понятно. Но вот кто Гитлер и Гейзенберг? И в чем суть этого нового оружия? Как оно будет действовать? И чем все это закончится?

***

Знаете такую телепрограмму «Своя игра» (калька с американского формата Jeopardy!)? Она для умников — в ней побеждали Александр Друзь, Борис Бурда, Анатолий Вассерман. Все как один — интеллектуальные крутышки. Но с 2011 года любой умник проигрывает в этой игре суперкомпьютеру IBM Watson. Watson не просто знает все ответы (имея свободный доступ к интернету, это, наверное, не слишком сложно), он научился понимать вопросы: различать подтекст, метафору, языковую игру и т. д., и т. п.

Так что вполне резонно задаться вопросом: а умеет ли суперкомпьютер IBM Watson думать? Создатель Watson’а — Дэвид Ферруччи — отвечает на это буквально так: «А умеет ли подводная лодка плавать?» Не торопитесь читать дальше — почувствуйте его иронию.

Искусственный разум скоро превзойдет человеческий по всем возможным параметрам, и наша дальнейшая судьба, поверьте, незавидна. Впрочем, мы даже думать об этом с должной серьезностью не можем. Не можем по той же причине, по которой не способны представить себе инопланетян иначе как человечками с руками и ногами. Наше воображение все лепит по своему образу и подобию. Нам просто недостает фантазии, а точнее, ума.

Мы ментальные эгоцентрики. Утешаем себя отговорками об уникальности человеческого сознания, философствуем о личности, некоторые даже о душе подумывают. Но все это — лишь культурные химеры, удобные фикции. Ничего этого просто нет, а есть лишь работа миллиардов нервных клеток — химические реакции и электрические импульсы. Мы сами — программный продукт собственного мозга. А потому странно и слишком самонадеянно думать, что интеллект можно произвести только полуторакилограммовой биомассой из воды, жиров, белков и катехоламинов.  

Понимаю, что все это звучит не слишком ободряюще. Но это правда. Близок тот день, когда глиняный колосс наших культурных заблуждений, накрученных вокруг «личности» и «человека», рухнет. Конечно, мы до последнего будем защищать эту свою духовную «прелесть». Это вообще свойство человеческого интеллекта — игнорировать факты и совершать беспримерные глупости, о чем со всей очевидностью свидетельствует механизм «когнитивного диссонанса» Леона Фестингера.

Впрочем, это только лишний повод задуматься: у искусственного интеллекта подобных дефектов, обусловленных нашей человечностью, не предвидится. Так что оживающая на глазах железяка имеет все шансы надрать нам зад. И не только в «Своей игре». Тем более что это будет уже «Его игра».

***

У биологического интеллекта, конечно, была фора в несколько миллионов лет. Но ведь и темп был другой. Сейчас искусственный интеллект развивается тем же путем — методом проб и ошибок, используя механизмы подкрепления и обратной связи. То есть это полноценная эволюция по механизму естественного отбора. Только вот скорость соответствующих итераций — переходов от поколения к поколению — на порядки выше. Да и материал для своего интеллектуального развития этот «человеческий детеныш» получает на блюдечке с голубой каемочкой. Это не просто информация, а хорошо структурированная, взаимосвязанная, иерархически выстроенная информация. Учись — не хочу.  

Если же кто-то еще думает, что современный искусственный интеллект программируется умными дяденьками — строчка за строчкой, алгоритм за алгоритмом, а потому вся его жизнь под строгим контролем, — забудьте. Это самообучающиеся, самонастраивающиеся и саморазвивающиеся системы. Что у такого «черного ящика» внутри, никому неизвестно. Мы не знаем, как он выигрывает в «Своей игре» или в го у лучшего гроссмейстера на планете. Тот же Ферруччи, как любящий отец, счастливо рекомендует свое чадо: «Люди спрашивают, а почему Watson здесь ответил неправильно? Я не знаю. Почему он здесь ответил правильно? Я не знаю тоже!» В общем, «Карнавальная ночь»: «Есть ли жизнь на Марсе, нет ли жизни на Марсе? Наука пока не в курсе дела! Асса!» Только, в отличие от Марса, наука создала этого монстра собственными руками.

И конечно, все эти турниры да телевикторины — лишь верхушка айсберга, демонстрация возможностей, шоу-бизнес. Пока мы забавляемся показательными выступлениями, искусственный интеллект трудолюбиво учится распознавать нашу речь, говорить, узнавать нас в лицо (проекты, финансируемые DARPA) или, например, называть человеческим языком визуальные объекты (разработка NeuralTalk, Стэнфордский университет*). Еще он теперь может сказать, где была сделана та или иная фотография (нейронная сеть PlaNet компании Google), о чем то или иное видео (система Cortex компании Twitter), заранее знает, кто победит на премии «Оскар» или в Суперкубке, а еще делает ставки на скачках 540 к 1 и выигрывает (система UNU Льюиса Розенберга).

Впрочем, больше всего меня умиляют роботы-писатели. Да, они пишут превосходные заметки! О спортивных соревнованиях, о ситуации на финансовых рынках, недвижимости, да и просто весьма увлекательно излагают обычные городские новости (компания Automated Insight Робби Аллена). И должен сказать, зачастую читать эти тексты куда приятнее, чем аналогичные опусы, созданные профессиональными журналистами. Так что, если вы на 100% уверены, что данный текст об искусственном интеллекте написан человеком, а не самим искусственным интеллектом, помните: это может оказаться иллюзией.

Да, машины уже очень неплохо справляются с задачами, которые мы традиционно считаем уникальным свойством человеческого мозга. Пока это лишь разрозненные системы, но представьте, что некий суперкомпьютер совсем скоро объединит в себе все эти способности. Впрочем, любая машина все равно будет лишь жалким подобием человеческого интеллекта, правда? Ох уж это наше самомнение! Подобием — да, но отнюдь не жалким, ведь она сможет одновременно учитывать все накопленное человечеством знание, а главное, будет иметь всю возможную информацию о каждом из нас.

***

«Надеюсь, мы с вами не являемся чем-то вроде загрузчика для искусственного суперинтеллекта будущего, — пишет Маск в том же твиттере. — Но, как мне кажется, все идет именно к этому». Маск одним из первых осознал, что значит предоставить искусственному интеллекту всю информацию о нас. То есть не то, что мы о себе думаем или, например, как мы выглядим (это нужно лишь для того, чтобы нас идентифицировать), а именно всю, то есть все о нашем действительном поведении, способах принятия решений и наших желаниях.

Это, вероятно, и пугает Маска больше всего, неслучайно же он говорит об искусственном интеллекте как об «экзистенциальной угрозе» человечеству. Представьте, что машина начинает предугадывать наши желания — мы и сами-то со своими желаниями не способны разобраться, но она справится, ведь знает не только то, что мы думаем, но и то, как действуем. Само по себе это, наверное, и неплохо. Но кто сказал, что искусственный интеллект распорядится соответствующим знанием в наших интересах? Если он будет знать наши желания, он сможет и влиять на них, управлять ими, то есть нами. Поэтому, надо полагать, Маск и ополчился на Google (а отчасти и на Facebook**), хотя и уходит от прямых вопросов на эту тему.   

Интернет-гиганты совсем не так давно вышли на безубыточность, а реальные вложения и вовсе далеки от окупаемости. Ставка изначально делалась не на прибыль, и не ради прибыли сюда вкладывались инвесторы. Ставка делалась на завоевание максимального объема рынка — на количество пользователей, захваченных тем или иным ресурсом. Google, Facebook** (и поглощенный им Twitter), Apple, Instagram**, «Яндекс» — все это своего рода виртуальные империи, в буквальном смысле колонизирующие народы и создающие свои квазигосударства.

Вопрос лишь в том, как этим империям управлять своими гражданами и какой бенефит из этого можно извлечь. Пока прежние политические системы деградируют, новые игроки политического рынка — интернет-гиганты — превращаются в протогосударственных монстров. Я всегда считал, что состояние рабства должно определяться следующим образом: тебе платят не за то, что ты делаешь, а за то, что ты просто есть (ну, а что тебе делать или не делать — уже не твоего ума дело). По этому принципу и развиваются эти новые империи — мы у них есть. Рабы и папуасы глобальной сети интернет, которые даже не догадываются, что их «уже посчитали».

Сейчас в штаб-квартирах новых мировых интернет-империй создается искусственный интеллект, который будет управлять нами изнутри системы. И бьюсь об заклад, что его создатели сами еще не знают, как этой безумной и неограниченной властью распорядиться. Полагаю, пока они рассуждают типичным для таких случаев образом: завоюем, поработим как следует, а потом уж решим, что со всем этим делать. А решать, действительно, придется: не ровен час, когда все завоеванное ими «богатство» (то есть мы с вами) превратится в самые настоящие черепки. Ведь если искусственный интеллект действительно достигнет того уровня развития, который сейчас кажется уже почти неизбежным, сами по себе люди будут экономике не нужны. Более того, превратятся в обузу.

Ну правда, раньше рабочая сила была реальным капиталом (© К. Маркс), а сейчас какая в ней нужда? Представьте себе недалекое будущее… На первых этажах наших домов вместо нынешних магазинов располагаются большие 3D-принтеры, к ним по трубам (что-то вроде нынешнего водопровода) поступает универсальный концентрат двух видов — съедобный и несъедобный. Вам остается только нажать на кнопку, и нужные предметы тут же изготавливаются и оказываются в вашей квартире. Причем сам этот концентрат также производится на бесчеловечных — полностью автоматизированных — производствах.

Искусственного креатива тоже будет хоть отбавляй. Его, чтобы мы не скучали, нам будут скармливать нон-стоп. Искусственный интеллект уже сейчас научился сочинять музыку и писать литературные тексты, а завтра он будет работать в системе полного цикла, поставляя нашему вниманию неограниченное множество аудиовизуальных произведений, причем в системе 3D-реальности. Смотреть можно будет сутками напролет — не оторвешься! То есть кроме искусственного хлеба нас ждут и искусственные зрелища, причем в избытке.    

Но зачем этой системе люди? При таком раскладе, люди становятся самыми настоящими «домашними животными». Но домашних животных тоже заводят не просто так: или для того, чтобы их есть, или же (и таких куда меньше в процентном отношении), чтобы им умиляться. Но кто нам в такой ситуации будет умиляться и, главное, зачем? Искусственный интеллект и вправду должен оказаться тем еще извращенцем, чтобы его умиляло человечество. А съесть нас… Ну да, эту версию я уже описывал в предыдущей статье («Четвертая мировая. Начало») — нанонож и все такое.

В общем, все это пока напоминает какую-то ужасающую футурологическую фантасмагорию. И неудивительно, что трогательного Илона Маска это пугает. Кстати, его странная затея с полетом на Марс — с билетом в один конец — не кажется на этом фоне столь уж эксцентричной выходкой.

Так или иначе, зная интернет-индустрию изнутри, Илон Маск пока пытается примерить на себя роль Морфеуса и создать что-то вроде анти-Матрицы — такой искусственный интеллект, который не будет, как, например, гугловский, нас контролировать. Но можно ли его контролировать, если он действительно станет интеллектом, то есть сущностью, обладающей своим собственным умом и самосознанием? На этот вопрос, кажется, даже у самого Маска ответа нет.

***

Новый Оппенгеймер строит новую бомбу, чтобы обогнать новых фашистов. Но даже если он их обгонит, бомба будет создана, а такие штуки без дела не пропадают. Немногие, наверное, об этом знают, но Эйнштейн отправил Рузвельту и второе письмо, когда у американцев уже была бомба. В нем, как нетрудно догадаться, Эйнштейн пытался убедить президента не использовать атомное оружие. По стечению обстоятельств, письмо оказалось на столе Рузвельта 12 апреля 1945 года — в день его смерти — и даже не было распечатано.

Позже, вспоминая трагедию Хиросимы и Нагасаки, Эйнштейн признается своему биографу: «Да, я нажал на эту кнопку». Впрочем, он явно преувеличивал. Если и нажал, то не более, чем Хокинг на свою, мигая веком.

Да, ни Маск, ни Брин, бьющиеся в своем искусственно-интеллектуальном противостоянии, не учитывают того факта, что на сцене, подобно черному лебедю Нассима Талеба, в любой момент вместо интеллигентного Рузвельта может объявиться боевой офицер Гарри Трумэн. И руки у новых Трумэнов уже чешутся… Но об этой чесотке я, пожалуй, расскажу в следующий раз.