Ученые впервые извлекли образы из мыслей

Нейробиологи воссоздали динамические зрительные образы, возникавшие в голове во время просмотра случайно отобранных видеороликов. В будущем такая технология поможет медикам наблюдать на экране галлюцинации пациентов, а богатым чудакам — выкладывать свои сны на YouTube.

Фантастический результат получен в Калифорнийском университете в Беркли: испытуемым показывали разные ролики с YouTube (фрагменты кинолент, трейлеры и прочее), в то время как магнитно-резонансный томограф детально записывал активность клеток в различных частях зрительной коры. По этой информации учёные сумели реконструировать просмотренные кадры в цвете и динамике (смотрите впечатляющий ролик в конце материала).

Качество этих восстановленных роликов может кому-то показаться неважным, но это несравненно лучше и точнее, чем то, что удалось получить «из головы» человека в первом эксперименте такого типа.

Учёные, создавшие новую программу распознавания мысленных образов, сами поочерёдно выступали в роли подопытных, поскольку им приходилось проводить внутри томографа по многу часов за раз.

Для начала исследователи записали картину мозговой активности при просмотре ряда трейлеров голливудских фильмов. Биологи построили трёхмерную компьютерную модель мозга с группами клеток (вокселями) и записали, как каждый воксель реагирует на изменение форм и движение предметов на экране. Так удалось получить грубое соответствие визуальной информации и процесса её обработки в коре мозга.

Для тестирования и доводки алгоритма учёные скормили ему тысячи часов от миллионов случайно взятых роликов со всё того же сервиса YouTube, получив на выходе обратный результат — смоделированную активность мозга, которая наблюдалась бы, если человек просматривал бы эти ролики.

Кадры из роликов, а справа — они же, но извлечённые из головы наблюдателя

Наконец, алгоритм снова обратили. При просмотре людьми в томографе тестового видео компьютер подбирал из Сети 100 роликов, которые с наибольшей вероятностью должны были вызвать именно такую картину активности клеток. Далее секунда за секундой программа смешивала кадры из этих роликов, получая размытое результирующее кино, неплохо совпадавшее с тем, что человек наблюдал в реальности.

(Подробности опыта можно найти в статье в Current Biology и преcс-релизе университета.)

«Так мы открываем окно в кино, идущее в нашем сознании», — говорит один из авторов работы Джек Галлант (Jack Gallant). Кстати, Галлант известен нам по опыту с распознаванием при помощи сканирования мозга увиденных фотографий.

Учёные объясняют, почему распознавание мыслей при помощи магнитной томографии трудно реализовать. Одна из проблем — сканер регистрирует изменения в кровотоке через кору, а они происходят гораздо медленнее, чем меняются нервные сигналы.

Потому-то ранее такой трюк удавалось проворачивать лишь со статичными картинками. «Мы решили эту проблему, создав двухступенчатую модель, которая описывает отдельно нервные клетки и сигналы кровотока», — говорит Синдзи Нисимото (Shinji Nishimoto), ведущий автор исследования.

До практического применения новой технологии может пройти десятилетие. Но уже в таком, сыром виде она способна помочь нейрофизиологам лучше разобраться, что происходит в голове человека.