ИИ учится вытаскивать картинки напрямую из человеческих мыслей

ИА БайкалИнформ   
19.12.2023 17:00

Исследователи «декодируют» объекты и ландшафты из воображаемых образов на основе активности мозга. О реальном исследовании с налётом фантастики пишет hightech.fm.

Пример реконструкции изображения: слева изображение, которое представлял участник, справа — реконструированное нейросетью
Иллюстрация: Naoko Koide-Majima et al., Neural Networks

Ученые из Национального института квантовой науки и технологий (QST) и Университета Осаки разработали подход для распознавания с помощью ИИ сложных визуальных образов на основе анализа функциональной магниторезонансной томографии (фМРТ) мозга. По словам исследователей, подход можно будет использовать для изучения иллюзий, галлюцинаций и снов.

Исследователи показали участникам около 1200 изображений, а затем проанализировали и количественно оценили корреляцию между сигналами мозга и зрительными стимулами с помощью фМРТ. Карты связей ученые использовали для обучения генеративного ИИ расшифровке и воспроизведению мысленных образов на основе активности мозга.

В предыдущих исследованиях различные группы ученых воссоздавали изображения, которые видели люди, путем анализа активности их мозга. Но сделать то же самое с мысленными образами было слишком сложно. Немногочисленные публикации ограничивались простыми изображениями — буквами или геометрическими фигурами.

Метод, предложенный японскими исследователями, предполагал восстановление как картинок, которые участникам показывали во время сканирования, так и тех, что их просили представить. Правда, для эксперимента участники должны были представлять изображения, которые им показывали раньше.

Результаты показали, что хотя анализ активности мозга и не воспроизводит в точности исходную картинку, тем не менее получившиеся яркие изображения содержат отчетливые детали исходных снимков. Дальнейшее развитие технологии поможет в медицинских исследованиях и изучении работы мозга, полагают ученые.

Ещё кое-что о науке:

Новости о всякой всячине

 

Сергей Шмидт - серия колонок

Видеосюжеты
Сергей Шмидт: Срок