Top.Mail.Ru
Истории

Нейросеть помогла ученым прочитать мысли

Истории
Елена Лиханова
Елена Лиханова

Старший редактор RB.RU

Елена Лиханова

Исследователи из Техасского университета научились расшифровывать то, что смотрели, слушали или представляли люди, объединив показания их мозговой активности с моделью, напоминающей ChatGPT. Это первый подобный результат, достигнутый без операционного вмешательства.

Нейросеть помогла ученым прочитать мысли

Ученые изобрели языковой декодер, который может переводить мысли человека в текст с помощью преобразователя искусственного интеллекта. Статья об исследовании опубликована в Nature Neuroscience.

Это первый случай, когда удалось неинвазивно реконструировать непрерывную речь, используя данные о деятельности человеческого мозга, собранные при помощи аппарата функциональной магнитно-резонансной томографии (фМРТ).

Заставь искусственный интеллект самообучаться и совершенствоваться – выбирай онлайн-курсы в каталоге курсов по машинному обучению.

Декодер был способен интерпретировать суть историй, которые испытуемые смотрели или слушали — или даже просто представляли — с помощью ФМРТ-моделей мозга, что, по сути, позволяет ему читать мысли людей с беспрецедентной эффективностью. Технология все еще находится на ранней стадии, однако, надеются ученые, она позволит общаться с внешним миром людям с неврологическими заболеваниями.

Создатели декодера признают, что их изобретению можно найти и иные применения, например для слежки работодателей или правительства. При этом они подчеркивают, что для его работы требуется сотрудничество людей.

«В настоящее время расшифровка языка выполняется с помощью имплантированных устройств, требующих нейрохирургии, и наше исследование является первым, в котором расшифровывается непрерывная речь, а не отдельные слова или предложения», — прокомментировал Джерри Тан, аспирант кафедры компьютерных наук в Техасском университете в Остине и руководитель исследования.

«В конечном счете, мы надеемся, что эта технология сможет помочь людям, которые потеряли способность говорить из-за травм, например инсультов, или таких заболеваний, как амиотрофический латеральный склероз» — добавил он.


Читайте по теме:

Нейроученые создали «декодер настроения», который позволит измерить депрессию

Этот имплант помог двум пациенткам, перенесшим инсульт, вновь двигать руками 


Тан и его коллеги смогли создать декодер с помощью трех участников-людей, каждый из которых провел 16 часов в аппарате фМРТ, слушая истории.

Исследователи обучили модель ИИ, получившую название GPT-1, на комментариях с форума Reddit и автобиографических историй, чтобы связать семантические особенности записанных историй с нейронной активностью, зафиксированной фМРТ. Так они узнали, какие слова и фразы ассоциируются с определенными паттернами мозга.

После испытуемые прослушали новые истории, которые не входили в обучающий датасет. Одновременно их мозг сканировали при помощи фМРТ. Декодер смог перевести аудиозаписи в текст, хотя его интерпретации не всегда совпадали с оригинальными записями.

Это первый метод такого рода, не требующий операционного вмешательства. Если существующие методы требуют имплантировать электроды в мозг пациента и делают прогноз, основываясь на моторной деятельности, например движениях рта человека, команда Тана собирает данные о мозговом кровообращении, которое фиксируется фМРТ.

«Наша система работает на совершенно другом уровне, — сказал Александр Хут, доцент кафедры неврологии и компьютерных наук в Калифорнийском университете в Остине и старший автор нового исследования. — Вместо того, чтобы изучать низкоуровневую моторную деятельность, наша система действительно работает на уровне идей, семантики и смысла... Вот к чему это ведет».

«Вот почему я думаю, что то, что мы получаем, — это не точные слова, которые кто-то слышал или говорил, это суть, — продолжил старший автор исследования Александр Хут. — Это одна и та же идея, но выраженная разными словами».

Новый подход позволил команде раздвинуть границы технологий чтения мыслей, проверив, может ли декодер переводить мысли участников во время просмотра немого кино или просто воображаемых историй в их головах. В обоих случаях декодер смог расшифровать то, что участники видели, в случае с фильмами, и о чем думали испытуемые, разыгрывая в своем воображении короткие истории.

Результат был точнее, когда в тестах использовали аудиозаписи, а не мысленную речь, однако и в этом случае декодер смог определить основные детали. Например, когда испытуемый представлял себе предложение «шел по грунтовой дороге через пшеничное поле, через ручей и мимо нескольких деревянных домов», расшифрованный текст выглядел как: «ему пришлось перейти по мосту на другой берег и увидеть вдалеке очень большое здание».

Участники исследования проходили все тесты, находясь внутри аппарата фМРТ. Это довольно громоздкий аппарат, и поэтому пока декодер нельзя использовать как практическое средство для пациентов с нарушениями речи.

Однако Тан и его коллеги надеются, что будущие версии устройства могут быть адаптированы к более удобным платформам, таким как датчики ближней инфракрасной спектроскопии (fNIRS), которые можно носить на голове пациента.

Источник.

Обложка снегерирована нейросетью Midjourney

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Нашли опечатку? Выделите текст и нажмите Ctrl + Enter

Материалы по теме

  1. 1 Искусственное зрение — следующий шаг в развитии мозговых имплантов?
  2. 2 Новый паспорт за минуту в ИИ-сервисе Only Fake: как отличить настоящий документ от поддельного
  3. 3 Перспективы и риски использования нейросетей в бизнесе
  4. 4 Управление состоянием и формирование команд: как еще применяют нейротехнологии в HR
  5. 5 «Почему у нас получился диптех-стартап, а у вас не получится» — опыт компании, которая привлекла 500 млн рублей
FutureFood
Кто производит «альтернативную» еду
Карта