Машины, которые не будут вами править

О приближении технологической сингулярности вы узнаете, когда в небольшом магазинчике на подмосковной станции вам скажут, что заплатить за газировку можно только смартфоном по системе ApplePay. Причины прозаичны: сдачи нет, а платежный терминал завис. Из этого любопытного опыта можно вынести важный урок: новые технологии меняют жизнь неожиданным и порой забавным образом. Может, не так уж страшна эта сингулярность, как многие опасаются. Заведите привычку во всех прогнозах делать поправку на человеческие слабости, и предсказывать будущее станет проще и веселее.

Тем не менее, оказываясь лицом к лицу с неумолимым прогрессом, хочется разобраться, куда он нас заведет. Еще в середине ХХ века математик Джон фон Нейман впервые употребил слово «сингулярность» в отношении технологического развития человечества. Он имел в виду вот что: если попытаться численно измерить человеческие достижения, нарисовать график и продлить его в будущее, то в какой-то момент, кажется, кривая устремится в бесконечность. С точки зрения трезвого ученого это может означать только одно: угаданная тенденция неверна и где-то на пути к этой самой бесконечности закон развития должен измениться. Об этом, кстати, в применении к росту населения Земли очень доступно рассказывал автору этих строк Сергей Петрович Капица в своей последней беседе в 2012 году.

В начале XXI века Рэймонд Курцвейл придал понятию технологической сингулярности чуть более реалистичный смысл. Конечно, ни в какую бесконечность наш прогресс не убежит: закон его роста экспоненциальный, а это значит, что технологии просто растут все быстрее и быстрее, подстегивая себя сами. Точка, вызывающая болезненный интерес футурологов, — не формальная бесконечность, а тот момент, когда скорость самоподдерживающегося роста технологий превзойдет возможность совокупного человеческого разума этот рост контролировать. А с чего бы технологиям расти самим по себе, без человеческого участия? А это, говорит Курцвейл и его приятели-футурологи, произойдет из-за появления на сцене искусственного интеллекта (ИИ).

Экспансия чуждого разума

В нелегком деле вытеснения человечества на периферию жизни искусственному интеллекту предстоит пройти несколько этапов. Вот как они описаны в эмоциональной и поэтичной заметке журналиста-футуролога Майкла Кевина Спенсера под заголовком «Мы живем в последний период перед общим искусственным интеллектом».

Сначала возникает «Узкий ИИ»: это то, что есть уже сейчас. Голосовое общение, распознавание образов, машинный перевод — машины учатся делать то, что люди умели делать и без них. Выглядит это не слишком впечатляюще, но технологии под шумок с 2014-го по 2021 год проходят такой же путь развития, как и за весь двадцатый век.

Второй этап — «Общий ИИ». Говорить о нем можно с того момента, когда машинный разум обретает способность обучаться и совершенствовать себя. Приобретя способность учиться, машины обгоняют человека во всех сферах деятельности, включая творческие задачи, эмоциональный интеллект, управление сложной средой и предсказание будущего. И это уже третий этап — «искусственный суперинтеллект». Эта штука может программировать роботов, обеспечивать функционирование экономики без вмешательства человека, управлять «умными городами» и вообще всем человеческим обществом.

И наконец, четвертый этап: «ИИ с творческой жилкой» (так игриво мы перевели для вас Artificial Intelligence with Creative Agency). Эта штука начинает ставить перед собой задачи, человечеству чуждые и непонятные. Какие именно? В силу их чуждости и непонятности у нас даже нет шансов оценить их размах. Ясно однако, что со стратегическими интересами человечества эти задачи могут совпасть разве что случайно.

Замшелый аргумент, будто бы машины делают только то, что в них заложено людьми, можно отправить в утиль. В 2017 году алгоритм «Альфа Го Зеро» научился играть в го, не используя вообще никаких человеческих наработок: машина просто играла сама с собой, обучаясь исключительно на собственных ошибках*. Куда может завести императив «во что бы то ни стало совершать как можно меньше ошибок во всем», судить невозможно: человечество подобных задач перед собой не ставило, а если и ставило, то в них не преуспело.

Когда ждать катарсиса? Экспоненциальный закон роста компьютерных возможностей позволяет сделать некоторые прикидки. Мощность ИИ сравняется с мощностью человеческого мозга (порядка 10 в шестнадцатой степени операций в секунду) к 2029 году. По прогнозам Рэймонда Курцвейла, к этому моменту ИИ сможет легко пройти пресловутый «тест Тьюринга», то есть общаться с человеком так, что человек не распознает в нем машинный разум. А к 2045 году — опять же по оценкам Курцвейла — его мощность превысит совокупное быстродействие всех человеческих мозгов на планете, то есть 10 в 26-й степени операций в секунду. И тут наши пути разойдутся навсегда.

Ближе к реальности

Увидеть своими глазами экспоненциальный рост ничего не стоит: возьмите бактерию, поместите ее в питательную среду, и через 10 минут она поделится, через 20 поделится еще раз, а часа через три уже можно наблюдать, как среда на глазах мутнеет от стремительного бактериального роста. Прогноз футуролога неутешительный: через сутки масса бактерий в вашей колбе превзойдет массу земного шара. К счастью, этого не произойдет, потому что уже часов через десять микробы перестанут делиться, истощив питательные вещества среды. Урок первый: экспоненциальный закон роста — прекрасное приближение естественных процессов, но лишь до тех пор, пока им ничто не мешает. А этот безмятежный период быстро заканчивается.

Еще один опыт человечество уже поставило в собственной истории. Стремительный рост космических технологий когда-то привел от полета Гагарина к высадке на Луну. Радиус сферы нашей космической экспансии за десятилетие увеличился в тысячу раз. Если бы все так и шло, в 1980 году вместо войны в Афганистане и московской Олимпиады люди наслаждались бы прогулкой по Нептуну, а к 2010-му достигли бы центра Галактики. Почему этого не произошло? Закон развития изменился. С чего бы вдруг? Тут, конечно, ограниченность ресурсов тоже сыграла роль, но главное в другом: в силу определенных причин человечество просто перестало ставить перед собой такие задачи. Итак, урок второй: для прогресса нужна мотивация. ИИ развивается, пока это нужно для решения конкретных задач: например, создать новую ИТ-корпорацию и поглотить Google, обогнать Америку, накормить голодных детей Африки — что угодно, но непременно что-то реальное и человеческое. Когда задача исчезает, прекращается и развитие.

И еще кое-что важное для любителей предрекать владычество машин над людьми. Эволюцией живой природы от червяка к человеку двигал императив «произвести потомков и обеспечить их ресурсами». На коротком отрезке пути так совпало, что на практике этот принцип стал означать «быть умнее». Однако само по себе желание стать умным-преумным не содержит в себе никакого потенциала к безграничной экспансии. Неодолимое желание совершать поменьше ошибок, лежащее в основе эволюции современного ИИ, вовсе не обязательно грозит неуправляемым ростом, если такую задачу специально не поставит перед алгоритмом какой-то маньяк. Вспомним, что Алан Тьюринг, первым выдвинувший идею искусственного интеллекта, самовольно прервал свою жизнь, не дожив до сорокадвухлетия и не оставив потомков.

Где мы?

Полтора месяца назад в Бостоне прошел симпозиум Общества когнитивной нейробиологии, где пообщались между собой люди, изучающие интеллект — как человеческий, так и машинный. Они выразили надежду, что работы нейробиологов помогут создавать все более умные алгоритмы ИИ, а эти алгоритмы, в свою очередь, подтолкнут нейробиологов к новым идеям. Только не надо иронизировать, что все это похоже на попытки вытянуть самого себя за волосы из болота: в науке иногда такое работает. А иногда нет.

Работать это может, к примеру, так, как описано в недавней работе нейробиологов из Университета Джонса Хопкинса. Они разобрались, как работают нейроны в мозжечке, когда человек обучается двигательной задаче: например, пытается попасть мячом в баскетбольное кольцо. Оказалось, что нейроны (называемые «клетками Пуркинье») делают свою работу вовсе не так, как предполагали конструкторы так называемых «нейронных сетей», лежащих в основе ИИ. Коротко говоря, их отношения куда менее тоталитарны, чем предполагали программисты. И вот этот новооткрытый способ коллегиальной работы клеток Пуркинье может быть теперь положен в основу новых самообучающихся алгоритмов.

Но этот подход может и не работать, или работать из рук вон плохо. О том, как это бывает, поведал 30 апреля на недавней конференции в Ванкувере Али Рахими, специалист по ИИ из компании Google, произведя своими заявлениями небольшую сенсацию. Смысл его речей в том, что он и его коллеги вообще не понимают, почему одни алгоритмы ИИ эффективны, а другие нет, и не знают никакого критерия выбора лучшего подхода. О том, что один и тот же алгоритм может работать сегодня так, а завтра этак («проблема воспроизводимости»), было известно и раньше. Исследователи также признали свою неспособность объяснить принцип работы каждого конкретного алгоритма. Однако теперь ведущий специалист объявил не конкретный алгоритм, а всю свою науку чистой «алхимией», сказав, по сути, что она вообще не знает, где она находится и куда идти дальше.  

Свое заявление Али подкрепил примерами. Вот одна показательная история: был разработан сложнейший, сконструированный по последнему слову науки, самообучающийся алгоритм машинного перевода с английского на французский. Перевод он кое-как освоил. А затем начал переводить все лучше и лучше — но лишь по мере того, как разработчики одну за одной отключали в нем те самые продвинутые функции, которые перед тем сами зачем-то туда под завязку натолкали. В обсуждении на конференции прозвучали слова «карго-культ», «фольклор» и «шаманские заклинания» — это далеко не те термины, в которых принято описывать неумолимый прогресс технологий.

Возможно, сама идея о том, что машинный разум, построенный по образцу человеческого, рано или поздно превзойдет его, несет в себе неразрешимый парадокс. Человеческий разум, неспособный понять себя, может лишь завести умную машину в тот же тупик, где сам находится. «Если слепой поведет слепого, не оба ли упадут в яму?» — задает риторический вопрос Библия, и многие разработчики искусственного интеллекта на данном этапе согласно кивают.

Означает ли это, что технологический прогресс человечества замедляется и вот-вот придет к полной остановке? Да с чего бы вдруг. Привычка измерять прогресс в количестве вычислительных операций в секунду возникла у людей всего-то меньше ста лет назад. У человеческой цивилизации есть множество задач, кроме той, самой почетной — «думать». Если вдруг на этом пути не окажется никакой сингулярности, а будет просто медленное и упорное движение к чуть более достойной жизни, которым человечество было занято на протяжении всей истории, расстроятся, возможно, только футурологи.

В июле этого года в Екатеринбурге пройдет выставка-конференция «Иннопром-2018». Речь там пойдет о том, как информационные технологии революционизируют самые разные сферы экономики. Проект «Сноб» с гордостью сообщает, что стал информационным партнером этой инициативы. На протяжении ближайших недель мы намерены рассказывать о разработках, которые будут представлены в Екатеринбурге. Читатель сможет составить представление, над чем на самом деле работают ученые и инженеры, кроме масштабной, но (видимо) невыполнимой задачи «создать машину, которая заменит собой человеческий разум». Спойлер: там все совсем не так инфернально, хотя по-прежнему весьма увлекательно. Ждите продолжения.

* Правила игры в го этому алгоритму, конечно, объяснили люди. Тем не менее можно ведь поставить перед машиной и такую задачу: «Придумать игру с максимально простыми правилами и по возможности сложной выигрышной стратегией; при нахождении универсальной игровой стратегии усложнить правила». Машина сможет играть в эту игру сама с собой миллиарды лет, пока в розетке есть электричество. Вот мы и нашли, как пристроить ИИ к полезному делу, чтобы он не мешал человечеству жить, как ему заблагорассудится.