Ученые научились переводить сигналы мозга в распознаваемую речь

Новое исследование, опубликованное в журнале Scientific Adventures, помогло нам приблизиться на один шаг к этой цели. Нейробиолог Нима Месгарани и его коллеги объединили недавние достижения в машинном обучении с технологиями синтеза речи: их нейрокомпьютерный интерфейс – пусть все еще и элементарный – захватывал сигналы мозга непосредственно из слуховой коры, и затем их расшифровывал вокодер на базе ИИ.

Важно отметить, что технология не читает мысли человека. К сожалению, науке до этого еще далеко. Вместо этого она анализирует мозговые волны, образовавшиеся после прослушивания чужой речи.

Для исследования пригласили пять пациентов-добровольцев, проходящих лечение от эпилепсии, поскольку им часто делают операции на мозг. Команда при помощи инвазивной электрокортикографии измерила их нейронную активность во время прослушивания непрерывных речевых звуков. Пациенты слушали, например, как человек считает от нуля до девяти. Затем данные отправлялись в вокодер, который переводил их в синтезированные слова. Конечно, речь была роботизированной, но все равно понятной. Для оценки результатов ученые пригласили одиннадцать человек с отличным слухом; они смогли правильно распознать слова примерно в 75% случаев, иногда они даже определяли пол говорящего! Месгарани поделился, что такой хороший результат стал для него сюрпризом. Записи синтезированной речи можно найти здесь.

Использование синтезатора голоса в противовес системе, которая может объединять и производить предварительно записанные слова, важно для Месгарани. Он объяснил, что речь – это не просто объединение слов в одно предложение.

Нима Месгарани. Фото: The Pine Tree

«Поскольку цель этой работы – дать людям, которые потеряли способность говорить, возможность общаться с другими, мы стремились изучить прямую связь мозговых сигналов с речью. Мы можем расшифровывать фонемы или слова, однако в речи есть и другие важные аспекты, помимо содержания – например, интонация, эмоциональная окраска и так далее. Таким образом, в данном исследовании мы хотим восстановить сам звук».

В будущем Месгарани хотел бы синтезировать более сложные слова и предложения и научиться читать и воспроизводить мысли при помощи технологии.

Профессор нейроинтерфейсов в Ньюкаслском университете Эндрю Джексон был впечатлен новым исследованием, но ему все еще неясно, можно ли будет применить этот подход напрямую к нейро-компьютерным интерфейсам.

«В исследовании расшифрованные сигналы отображают реальные слова, услышанные мозгом. Чтобы приносить пользу, технологии необходимо будет научиться расшифровывать слова, которые пользователь представил у себя в уме. Несмотря на то, что между областями мозга, участвующими в слушании, говорении и представлении речи, часто есть некоторые совпадения, мы все еще не знаем, насколько похожими будут соответствующие сигналы мозга», – сказал он.

Уильям Татум, невролог в Клинике Mayo, также не принимавший участие в исследовании, сказал, что работа ученых важна, поскольку они первыми использовали искусственный интеллект в таком контексте. «Это открытие стимулирует применение техник глубокого обучения в системах воспроизведения речи в будущем», – сказал он.

Тем не менее, он считает, что участников было слишком мало, и данные, полученные во время операции на мозг, не совсем идеальны.

Еще одно ограничение заключается в том, что нейронные сети нужно обучать на огромном количестве мозговых сигналов каждого участника в отдельности. Система индивидуальна для каждого пациента, поскольку все мы производим разные волны мозга, когда слушаем речь. Интересно будет посмотреть, насколько хорошо декодеры, обученные на конкретных людях, будут применимы ко всем.

Без сомнений, работы все еще много. Однако новое исследование – важный шаг к достижению имплантируемого нейропротеза речи.

Источник.

Материалы по теме:

7 удивительных примеров использования CRISPR в реальной жизни

Телепортация: реально ли перемещаться на тысячи километров?

Ученые смогут вырастить из мицелия все — от имитации мяса до искусственных органов

Ради эксперимента ученые наблюдали за часами 14 лет. Вот что они выяснили