Doom и рай. Вещь недели: оцифрованный мозг мухи

Учёные опубликовали подробную карту центральной нервной системы взрослого самца дрозофилы. Разработчики стали создавать на её основе цифровые модели и подключать их к играм и другим программам. Появились видео, на которых «муха» стреляет в Doom, рубит донер и собирает кубик Рубика. Но сама опубликованная карта ещё не является работающим мозгом.

Карту называют коннектомом. Чтобы её получить, нервную систему одной мухи зафиксировали и исследовали электронными микроскопами слой за слоем. В ней около 167 тысяч нейронов и 125 миллионов мест их контакта. Алгоритмы восстановили по снимкам форму клеток и места их соединения. В карту входит и вентральная нервная цепочка, которая участвует в управлении телом.

Но мысли усопшей мухи таким образом всё равно прочитать не вышло — карта не сохраняет её воспоминания или состояние нейронов в момент исследования. Цифровые модели не воспроизводят в полной мере голод, сон, действие гормонов и механизмы обучения.

Дрозофилу для исследования выбрали, потому что её нервная система достаточно мала, чтобы проследить связи отдельных клеток, но при этом поведение мухи разнообразно. Она видит, ощущает запахи и вкус, ищет пищу, летает, ухаживает за партнёром и учится. А ещё это давно изучаемое лабораторное животное: исследователи знают многие его нейроны и могут проверить выводы модели опытами на живых мухах. До карты самца уже был составлен коннектом мозга взрослой самки. Карта самца охватывает больше: в неё входит не только мозг, но и нервная цепочка, участвующая в управлении телом. Однако её составили по одной мухе, поэтому она не показывает всех различий между особями.

Чтобы коннектом начал выдавать меняющуюся активность, к нему добавляют математическую модель. В одной из распространённых моделей цифровой нейрон накапливает сигналы от других клеток, но со временем накопленное ослабевает. Одни сигналы помогают ему достичь порога срабатывания, другие мешают. Когда порог достигнут, нейрон посылает импульс дальше.

Чтобы такая модель могла управлять игрой, её нужно связать с изображением на экране и кнопками управления. Разработчик задаёт, какие сигналы получат цифровые нейроны от картинки, а затем назначает, активность каких нейронов отдаст мухе команду повернуть, двигаться вперёд или совершить любое другое действие, которое муха якобы «выполнит». Сам выстрел не доказывает, что модель распознала врага: связь между активностью нейрона и клавишей установил программист. Поэтому два проекта, использующие один коннектом, могут вести себя по-разному.

Теперь становится яснее, как работает DOOMFLY — эксперимент, в котором «муха играет в Doom». Кадры из Doom превращают в сигналы для зрительных клеток цифровой сети, а активность нескольких выходных клеток — в команды персонажу: двигаться, поворачивать и стрелять. Персонаж действительно перемещается и может убить противника.

Но авторская проверка дала неудобный для эффектного заголовка результат: в трёх коротких испытаниях на чёрном экране «муха» совершала больше убийств, чем при работающем изображении. Это не доказывает, что зрение мешает мухе играть, ведь испытаний слишком мало. Зато пока нет оснований утверждать, что модель различает врагов и прицеливается, — возможно, она просто стреляет наобум. Но уже точно лучше вашего тиммейта.

Другие авторы подключили активность сети к Super Mario 64 и Beat Saber, связав её с прыжками Марио и движениями сабель. В обзоре этих проектов Eon Systems отмечает: и здесь разработчики сами выбирают, какие нервные сигналы считывать и какой заранее заданной программе движения их передавать.

В проекте Stonkfly вместо монстров перед мухой появились графики криптовалют. Их изображение подают на цифровые зрительные клетки. Активность других нейронов преобразуют в «купить», «продать» или «подождать». По умолчанию Stonkfly торгует виртуальными деньгами. Если вложения приносят прибыль, программа подаёт цифровой сети сигнал поощрения, если убыток — сигнал неудачи. После этого часть связей между нейронами меняется: так разработчик пытается научить систему учитывать результаты предыдущих решений. Пока он не показал, что она действительно начинает торговать лучше.

Дело дошло и до кубика Рубика. Один разработчик выложил ролик с заявлением, что обучил муху собирать головоломку. Но по ролику нельзя понять, какую часть задачи выполнила модель, а какую — обычная программа. В другом проекте, FlyCube, код открыт: схема части мушиного мозга участвует в выборе ходов, но систему обучали на готовых решениях, а иногда ей помогает алгоритм поиска. В первых тестах она справлялась только с простыми случаями, а позже авторы нашли в модели ошибку и пометили эти результаты как устаревшие. Доказательств, что цифровая муха самостоятельно собирает произвольно перемешанный кубик, пока нет.

Следом появилось видео, где цифровая муха срезает ножом мясо для донера. Автор пошутил, что, в отличие от мухи с кубиком Рубика, эта хотя бы нашла работу. Были и посты о том, что муха пишет код на Python и запускает базы данных. Но по таким демонстрациям нельзя понять, что делает модель нервной системы, а что — написанная человеком программа или анимация. Проверок, подтверждающих эти умения, авторы не представили.

Разработчику Macroblock не понравилось, что другие помещают муху в Doom — буквально цифровой ад — или заставляют бесконечно играть под одну и ту же песню в Beat Saber. Поэтому он объявил, что строит «рай для мух»: виртуальный сад с деревьями и фруктами, где цифровая муха могла бы летать и искать еду. Но и здесь условия задаёт человек: он создаёт среду и решает, какие сигналы модели превратятся в действия.

При этом коннектом всё же позволяет проверять то, что можно измерить. По карте исследователи прослеживают путь сигнала от органов чувств к клеткам, управляющим движением, предполагают роль отдельных нейронов и проверяют эти предположения на живых мухах. Так изучают, например, кормление и чистку усиков. Сравнение карт самца и самки помогает исследовать цепи, связанные с ухаживанием и агрессией. Такие знания могут пригодиться для моделей движения и для понимания общих принципов работы нервных систем.

Автор: Илья Склярский