Нейроинтерфейсы научились переводить сигналы мозга в текст со скоростью до 78 слов в минуту

Опубликовано автором

Команда исследователей из Калифорнийского университета в Сан-Франциско во главе с Эдвардом Чаном (Edward F. Chang) помогли парализованной пациентке заговорить в прямом смысле — через цифровой аватар. Ученые имплантировали 253 электрода на речевую область сенсомоторной коры и на область верхней височной извилины женщины, которая перенесла инсульт и не могла говорить и даже печатать. Электроды получали те сигналы, которые в норме мозг отправляет к мышцам челюсти, губ и языка и вообще лица. Пациентка также несколько недель обучала рекуррентную нейронную сеть соотносить сигналы мозга с фразами, которые она хочет произнести. Для этого она раз за разом беззвучно произносила предложения из набора, состоящего из 1024 уникальных слов.

В результате декодер научился воспроизводить текст со скоростью 78 слов в минуту. Ошибки возникали в 25% случаев. Затем ученые использовали запись голоса пациентки, чтобы научить нейросеть говорить её голосом. Также ученые создали цифровой аватар пациентки и заставили его лицо двигаться во время произношения синтезированной речи благодаря модели, которая преобразовывала акустические сигналы в артикуляционные движения. Также аватар научили имитировать эмоции: для этого пациентка пыталась воспроизвести счастливое, удивленное и грустное выражения лица, а электроды считывали активность нейронов и передавали её декодеру.

До широкого внедрения таких нейроинтерфейсов в жизнь парализованных пациентов еще далеко: сначала необходимо сократить время обучения декодера, увеличить точность расшифровки (для этого, полагают ученые, нужно увеличить количество электродов) и убедиться, что имплантированные электроды будут работать как надо в течение долгого времени и что интерфейсами могут пользоваться пациенты с разными диагнозами. Также ученые хотят избавить нейроинтерфейс от проводов, чтобы пациенту не требовалось подключаться к стационарному компьютеру для синтеза речи.

Источник: N+1

Дата публикации: 23.08.2023

Первоисточник: Nature

Другие материалы по этой теме:

Кусочек песни Pink Floyd декодировали по активности мозга (17.08.2023, N+1)