Муниципальное бюджетное общеобразовательное учреждение
"Лицей № 88  г. Челябинска"
  • 5Yk9dodqDA8.jpg
  • 20170801_122654.jpg
  • BLQOE6FB2PE.jpg
  • rzcWimHveuA.jpg
  • sB7KCF2zw0Q.jpg
  • yf22rhTcX4.jpg

Исследователи из Киотского университета разработали нейросеть, которая способна воспроизводить изображения, которые видел человек на основе его мозговой активности. Препринт работы опубликован на bioRxiv, ее краткое описание приводит N+1.

В рамках эксперимента ученые показывали трем его участникам изображения и с помощью функциональной магнитно-резонансной томографии считывали мозговую активность. Всего были показаны 1200 различных изображений, каждое из них не менее пяти раз. После этого на парах «изображение-активность» была обучена нейронная сеть.

Дополнительно экспериментаторы добавили еще одну глубокую генеративную нейросеть (DGN), которая позволила сделать свойства полученного нейросетью изображения. Результаты исследования с DGN и без нее авторы рассматривали по отдельности.

После обучения нейросети удалось воссоздать изображения букв, геометрических фигур и предметов (например, изображений животных). Визуально более лучшие результаты были показаны при воссоздании простых объектов. Общее попиксельное совпадение между фотографией исходного объекта и полученным изображением получилось равным 79,7% без глубокой генеративной нейросети и 76,1% с ее использованием.

Исследователи также показали воссозданные и оригинальные изображения людям и попросили попарно соотнести их. В результате люди правильно угадывали пары в 96,5% случаев без DGN и в 99,1% с ее использованием.

https://republic.ru/posts/88914