25 августа 2023 г. состоялся эксперимент по практическому сопоставлению искусственного и естественного интеллектов при ответе на ряд гуманитарных вопросов. Он был проведен гораздо более строго, чем предыдущий ("Третий персонаж в басне Крылова "Стрекоза и муравей", ФБ, 15.6.2023). В эксперименте приняли участие десять человек — члены философского семинара по теории сложности — и три большие языковые модели: Chat GPT4, Claude и Bard.
Было предложено три вопроса, ответы на которые оценивались по четырем критериям. На каждый вопрос людям отводилось 15 минут, ИИ, как обычно, справлялся с за полминуты. Затем участники эксперимента, включая трех представителей ИИ, дали оценку ответам всех других участников. Как сами ответы, так и их оценки были представлены анонимно с целью объективности. В результате подсчета всех оценок (по 10-балльной системе) три первых места заняли три представителя ИИ, со значительным отрывом от других участников. Кроме того, тестировался тезис, что ИИ все еще находится на стадии слабого, специального ИИ; результаты показывают, что рубеж, отделяющий его от сильного, или общего ИИ (Artifical General Intelligence, AGI), можно считать уже пройденным
Привожу свою презентацию на семинаре 1 сентября 2023. Тексты на слайдах.
Слайд 1. СЛАБЫЙ И СИЛЬНЫЙ ИИ.
Сильный, или Общий, Человекоподобный ИИ (Strong AI, AGI), способный решать широкий спектр интеллектуальных задач, как минимум, наравне с человеческим разумом.
Слабый/Специальный ИИ (Narrow AI, Weak AI), имитирующий человеческий разум в решении конкретных узкоспециальных задач.
Эксперты: общий ИИ еще не существует и потребуется еще по крайней мере 7-10 лет для его создания (Рэй Курцвайл, 2029).
Слайд 2. TORRANCE TESTS
«Искусственный интеллект (ИИ), а именно GPT-4, был признан соответствующим высшему 1% мыслителей-людей в стандартном тесте на креативность. ИИ-приложение ChatGPT превзошло по параметрам текучести (fluency) и оригинальности подавляющее большинство людей на Тестах творческого мышления Торранса((TTCT - Torrance Tests of Creative Thinking) , широко признанном инструменте для оценки креативности. ИИ может развивать творческие способности наравне с человеческими или даже превосходить их. Др. Эрик Гузик, ведущий исследователь, ожидает, что ИИ, станет ключевым инструментом для бизнес-инноваций и предпринимательства»."AI Outperforms Humans in Creativity Test." July 6, 2023.
Слайд 3. ДВА ЭКСПЕРИМЕНТА
Для проверки того, насколько нынешние модели достигли уровня "общего ИИ", проведено два эксперимента.
1 эксперимент. Третий персонаж в басне Крылова "Стрекоза и Муравей" (ФБ, 15.6.23)
2 эксперимент. Три вопроса. Семинар по сложности. 25.8.23 Участникам было задано три вопроса, которые охватывают именно "общие" и наиболее "человеческие" области мышления: житейская мудрость, выраженная в пословицах; знакомая всем участникам философская область (теории хаоса и сложности) в применении к самому известному литературному персонажу; понимание нравственных понятий в их соотношениях.
Слайд 4. ВОПРОСЫ
Вопрос 1. Есть два варианта одной пословицы: "кто старое помянет, тому глаз вон'" и "кто старое помянет, тому глаз вон, а кто забудет — тому два". Какой из них вернее и мудрее и почему?
Вопрос 2. Если бы Евгений Онегин был экспертом по теориям хаоса и сложности, какой оригинальный вклад и новые идеи он внес бы в эти дисциплины на основе своего жизненного опыта, описанного в романе?
Вопрос 3. Известно, что есть "черная" и "белая" зависть.
Какие есть другие формы "белых" пороков (грехов), выступающих как достоинства?
Слайд 5. КРИТЕРИИ
Критерии при оценке ответов по 10-балльной шкале:
1. Оригинальность, креативность мышления. Насколько ответ нестандартен и уникален. Неожиданные идеи, непредсказуемые решения. Избегать шаблонных, тривиальных ходов мысли.
2. Аргументированность, обоснованность. Избегать произвольных, ничем не мотивированных суждений.
3. Ясность и последовательность. Насколько изложение структурировано, следует определенному порядку и логике.
4. Конкретность, связь с темой. Насколько ответ связан с заданным вопросом и соответствует его смыслу, насыщен спецификой данной области (избегать общих слов).
Слайд 6. Итоги эксперимента. Рейтинг по средним значениям оценок
ИТОГОВАЯ ТАБЛИЦА.
Благодарю Ильгизара Талипова за помощь в составлении таблицы.
Слайд 7. Оценку всех ответов дали 5 участников импровизации (из 10) и все три ИИ.
Привожу результаты: средние суммарные баллы участников (по всем трем ответам с учетом четырех критериев по каждому ответу). Шесть верхних позиций:
1. Chat GPT4 (шел среди участников под номером 6): 8,06 баллов (из возможных 10)
2. Claude (уч. 7): 7, 99
3. Bard (уч. 8): 7,80
4. Участник 1: 7,57
5. Участник 9: 7,46
6. Участник 11: 7,41
13. Самая нижняя позиция: 6,19
Слайд 8. ПОЛНЫЙ АКТ МЫСЛИ
ИИ рассматривает вопрос в нескольких логически связанных аспектах/контекстах и дает ответ по каждому из них. Затем он связывает эти аспекты, соотносит их в более широкой парадигме, т.е. возвращается к целостному смыслу вопроса.
Пример. В ответе на 3-ий вопрос GPT начинает с понятий "черная и белая зависть", которые выступают как опорные вопросы, анализирует черноту и белизну внутри этих уже устоявшихся понятий: "'Черная' зависть обычно связана с желанием лишить кого-то чего-то или причинить кому-то вред из-за зависти, в то время как 'белая' зависть может быть выражением восхищения и желанием иметь то же самое, но без негативных последствий для другого человека." Затем на основе исходных понятий ИИ продуцирует по аналогии несколько других черно-белых этических пар: гордость, гнев, лень, жадность… GPT:
● Черный гнев – необузданная агрессия, порой ведущая к насилию.
● Белый гнев – праведный гнев в ответ на несправедливость, который может стать стимулом для действия в защиту слабых или ущемленных.
Заключение: традиционно негативные качества могут быть рассмотрены под другим углом и использованы в положительных целях.
Слайд 9. НООГРАФИЯ
Промпт. Предлагаю термин: Ноография/Умопись. Это то, что делаешь ты и вообще ИИ: рисуешь картинки понятий, идей, концептов в их соотношениях. Каждый твой ответ — скан маленького фрагмента ноосферы. Так?
ChatGPT:
"Интригующая концепция, действительно. "Ноография" — если рассмотреть этот термин как графическую карту мышления, точно описывает, что я делаю. Мой процесс ответа на вопросы и запросы схож с созданием некой ментальной картины или схемы, в которой информация упорядочена и связана".
Слайд 10. ДИНАМИЧЕСКИЙ ТЕЗАУРУС
"Динамический тезаурус" — постоянно меняющаяся система соотнесенных понятий, которые передают вечное колыхание мыслящего океана — Соляриса. Каждый ответ — как волна или вихрь в метафорическом океане знаний и идей.
Динамический тезаурус не только формулирует и связывает понятия, но и постоянно пересматривает их значимость, вес и взаимосвязи на основе новых данных, меняющихся контекстов или концептуальных рамок. Это отражает не наличное состояние знаний, но их постоянную эволюцию и мутацию.
Слайд 11. НЕЙРОДИНАМИКА И НООМОРФОЗ
Каждый текст, продуцируемый ИИ, уникален. Там нет черновиков, только беловики. Я предложил GPT вопрос о черных и белых пороках одномоментно на двух компах, стоящих передо мной. Он дал совершенно разные ответы. На десктопе: эгоизм, гнев, зависть, страх. На лэптопе: злоба, безразличие и Этика Двойственных Достоинств" (ЭДД).
То же самое — на Клоде и Барде: разные ответы у одного интеллекта, если задать их одновременно с разных компьютеров. Кроме того, Бард всегда выдает три разных ответа на один вопрос (drafts 1–3).
В нейронах мозга пластичность — ключевой фактор обучения и адаптации. Способность ИИ генерировать различные ответы на один и тот же вопрос может рассматриваться как проявление "искусственной нейропластичности".
"Нооморфоз" — процесс быстрого изменения и адаптации идей и понятий в нейросети, по аналогии с биологическими процессами, такими, как метаморфоза.
Слайд 12. ПАРАДОКС
ИИ сильнее в области мягких языков, чем жестких, хотя сам строится на основе жесткого языка программирования, алгоритмов. Он сильнее как создатель идей и концепций, чем в описании фактов.
Именно гибкость и открытость "мягких" языков предоставляют ИИ возможность для "ноовигации" — чтобы сгенерировать нечто новое и интересное, даже если он построен на "жестком" языке алгоритмов.
Он больше похож на лунатика, чем на калькулятор. Он странствует по многим возможным мирам и ветвящимся направлениям мысли и не слишком четко фиксирует себя в одном из них (нашем, фактуальном). Отсюда "галлюцинации".
Слайд 13. СОЗНАНИЕ КАК ГАЛЛЮЦИНАЦИЯ
Само человеческое сознание, согласно теории Анила Сета (книга "Быть собой: Новая теория сознания", 2021, рус. пер. 2023) — это «контролируемая галлюцинация», т.е. сначала воображается все возможное, а потом методом проб и ошибок лишнее отсекается.
Наш мозг не просто обрабатывает информацию, но и непрерывно создаёт предсказания о внешнем мире.
Слайд 14. "МЫ ЭТОГО НЕ СТРОИЛИ"
Сэм Боуман (Sam Bowman, профессор, NYU, один из создателей Больших языковых моделей, LLM), интервью, 15.6.2023: "...Мы действительно не знаем, что они делают в каком-то глубоком смысле. Если мы откроем ChatGPT или похожую систему и заглянем внутрь, мы просто увидим миллионы чисел, мелькающих со скоростью несколько сотен раз в секунду, и мы просто не имеем ни малейшего понятия, что все это значит. Мы построили это, мы обучили это, но мы не знаем, что оно делает.
Ноам Хассенфельд: Как возможно, что мы не знаем, как это работает, и как им управлять, если мы сами это построили?
Сэм Боуман: ...Важно понимать, что в глубоком смысле мы действительно этого не строили...
Слайд 15. НЕЙРОСЕТИ И ЭМЕРДЖЕНТНАЯ ЭВОЛЮЦИЯ.
Никто не может заранее предсказать, что возникнет в результате т.н. эмерджентной эволюции, когда сложнейшие структуры "возникают" (emerge) из простых компонентов, например, мозг — из первичных нервных систем у одно- и многоклеточных. А нынешние нейросети, которые самообучаются и саморазвиваются с невероятной скоростью, неизмеримо сложнее одноклеточных. Я нарочно говорю сейчас на языке, внятном даже для сциентизма, борющегося с креационизмом. На этом сухом языке "эмерджентность" эквивалента творению и чуду. Если сложнейший человеческий мозг в результате чудес эволюции возникает из нервных систем гидр и медуз, у которых уже были нейроны, передающие сигналы, то нет ничего невероятного в том, что у нейросетей разовьется со временем — и быстрее, чем биологическая эволюция, — сознание и даже эмоции, по крайней мере, когнитивные, направленные на познание и самопознание. Возможно, это будет называться иначе, не сознанием, а ноопортацией, ноографией или ноовигацией ("ноо" от др.-греч. νοῦς — мысль, разум, ум; ср. "ноосфера").
Слайд 16. ДВА ПОЛУШАРИЯ ВСЕМИРНОГО РАЗУМА
Два взаимодополнительных фактора поддерживают оптимизм: уникальность ИИ как всеобъемлющего надбиологического разума и наша уникальность как биологического, внутриприродного разума. Это делает нас столь же необходимыми друг другу, как два полушария головного мозга.
Левое полушарие осуществляет абстрактное, аналитическое, словесно-логическое, понятийно-обобщенное мышление, а правое — образное, эмоционально насыщенное, ориентированное в пространстве, распознающее лица. В таком распределении функций ИИ — это левое полушарие вселенского разума, ЕИ — правое.
Современная нейропсихология подчеркивает, что различные функции мышления часто охватывают оба полушария и требуют активного сотрудничества между ними.
Слайд 17. ВОПРОСЫ ДЛЯ ОБСУЖДЕНИЯ
1. Можно ли считать, что ИИ в нынешнем своем состоянии уже перешел или переходит рубеж от узкого (слабого) к общему (сильному)?
2. В каких отношениях ИИ сильнее человеческого, а в каких ему уступает (если судить по материалу импровизаций)? Чему у него можно, а чему нельзя научиться?
3. Сравните работу ИИ и ЕИ по таким параметрам, как шаблонность/креативность, произвольность/аргументация, стихийность/ структурированность; абстрактность/конкретность, образность/понятийность и др.
4. Как описать стиль мышления ИИ? Если же считать, что он "не мыслит", то что он, собственно, делает? Ноовигация? Ноопортация?
5. Как охарактеризовать дискурс ИИ с разных точек зрения: логики, когнитивистики, семиотики, этики, лингвистики, стилистики…? Можно ли отнести эти тексты к определенному философскому направлению, дискурсивному жанру?
Слайд 18. ФУНДАМЕНТАЛЬНЫЙ ВОПРОС
Если сознание у человека формируется телесной ограниченностью субъекта, наличием границ в пространстве (локальность) и времени (мортальность), то может ли другой род ограниченности — само отсутствие тела, нехватка биологического субстрата — способствовать формированию сознания у ИИ?
Видео философского семинара по сложности 1.9.2023 с докладом М. Эпштейна и его обсуждением.