Нейросеть помогла ученым прочитать мысли

Ученые изобрели языковой декодер, который может переводить мысли человека в текст с помощью преобразователя искусственного интеллекта. Статья об исследовании опубликована в Nature Neuroscience.

Это первый случай, когда удалось неинвазивно реконструировать непрерывную речь, используя данные о деятельности человеческого мозга, собранные при помощи аппарата функциональной магнитно-резонансной томографии (фМРТ).

Декодер был способен интерпретировать суть историй, которые испытуемые смотрели или слушали — или даже просто представляли — с помощью ФМРТ-моделей мозга, что, по сути, позволяет ему читать мысли людей с беспрецедентной эффективностью. Технология все еще находится на ранней стадии, однако, надеются ученые, она позволит общаться с внешним миром людям с неврологическими заболеваниями.

Создатели декодера признают, что их изобретению можно найти и иные применения, например для слежки работодателей или правительства. При этом они подчеркивают, что для его работы требуется сотрудничество людей.

«В настоящее время расшифровка языка выполняется с помощью имплантированных устройств, требующих нейрохирургии, и наше исследование является первым, в котором расшифровывается непрерывная речь, а не отдельные слова или предложения», — прокомментировал Джерри Тан, аспирант кафедры компьютерных наук в Техасском университете в Остине и руководитель исследования.

«В конечном счете, мы надеемся, что эта технология сможет помочь людям, которые потеряли способность говорить из-за травм, например инсультов, или таких заболеваний, как амиотрофический латеральный склероз» — добавил он.

Читайте по теме:

Нейроученые создали «декодер настроения», который позволит измерить депрессию

Этот имплант помог двум пациенткам, перенесшим инсульт, вновь двигать руками 

Тан и его коллеги смогли создать декодер с помощью трех участников-людей, каждый из которых провел 16 часов в аппарате фМРТ, слушая истории.

Исследователи обучили модель ИИ, получившую название GPT-1, на комментариях с форума Reddit и автобиографических историй, чтобы связать семантические особенности записанных историй с нейронной активностью, зафиксированной фМРТ. Так они узнали, какие слова и фразы ассоциируются с определенными паттернами мозга.

После испытуемые прослушали новые истории, которые не входили в обучающий датасет. Одновременно их мозг сканировали при помощи фМРТ. Декодер смог перевести аудиозаписи в текст, хотя его интерпретации не всегда совпадали с оригинальными записями.

Это первый метод такого рода, не требующий операционного вмешательства. Если существующие методы требуют имплантировать электроды в мозг пациента и делают прогноз, основываясь на моторной деятельности, например движениях рта человека, команда Тана собирает данные о мозговом кровообращении, которое фиксируется фМРТ.

«Наша система работает на совершенно другом уровне, — сказал Александр Хут, доцент кафедры неврологии и компьютерных наук в Калифорнийском университете в Остине и старший автор нового исследования. — Вместо того, чтобы изучать низкоуровневую моторную деятельность, наша система действительно работает на уровне идей, семантики и смысла... Вот к чему это ведет».

Новый подход позволил команде раздвинуть границы технологий чтения мыслей, проверив, может ли декодер переводить мысли участников во время просмотра немого кино или просто воображаемых историй в их головах. В обоих случаях декодер смог расшифровать то, что участники видели, в случае с фильмами, и о чем думали испытуемые, разыгрывая в своем воображении короткие истории.

Результат был точнее, когда в тестах использовали аудиозаписи, а не мысленную речь, однако и в этом случае декодер смог определить основные детали. Например, когда испытуемый представлял себе предложение «шел по грунтовой дороге через пшеничное поле, через ручей и мимо нескольких деревянных домов», расшифрованный текст выглядел как: «ему пришлось перейти по мосту на другой берег и увидеть вдалеке очень большое здание».

Участники исследования проходили все тесты, находясь внутри аппарата фМРТ. Это довольно громоздкий аппарат, и поэтому пока декодер нельзя использовать как практическое средство для пациентов с нарушениями речи.

Однако Тан и его коллеги надеются, что будущие версии устройства могут быть адаптированы к более удобным платформам, таким как датчики ближней инфракрасной спектроскопии (fNIRS), которые можно носить на голове пациента.

Источник.

Обложка снегерирована нейросетью Midjourney