Ученые создали нейроинтерфейс, превращающий сигналы мозга в речь

Нейрокомпьютерный интерфейс – это устройство, которое считывает импульсы мозга и дешифрует их в электронную команду для какой-либо машины. Некоторое время назад ученые смогли добиться того, что парализованные люди получили возможность пообщаться с окружающими с помощью нейрокомпьютерной печатной машинки: человек воображал, как пишется та или иная буква, а алгоритм преобразовывал нейронные импульсы в настоящие буквы. Теперь же ученым удалось научить нейрокомпьютерный интерфейс декодировать уже не буквы, а целые слова. Для считывания мозговых импульсов исследователи Калифорнийского университета в Сан-Франциско и Стэнфордского университета применяли различные методы.

В одном случае использовалась электрокортикография, отличающаяся от обычной электроэнцефалографии тем, что электроды принимают мозговые волны не с поверхности головы, а непосредственно с поверхности мозга, и принимаемый сигнал получается более качественным. В опытах принимала участие женщина, перенесшая инсульт ствола мозга, в результате чего ее речь стала неразборчивой. Ученые накладывали на кору мозга этой женщины 253 кортикографических электрода, каждый из которых воспринимал суммарную активность многих тысяч нейронов. Эти нейроны находились в сенсомоторной коре, в участке коры, управляющем мышцами лица и гортани.

Импульсы живых нейросетей декодировала алгоритмическая нейросеть: человек пробовал вслух произносить какие-то слова, а алгоритм сравнивал эти слова с поступающими к мышцам сигналам. В результате при словарном запасе нейрокомпьютерного интерфейса в 1024 слова пациентка сумела говорить с темпом 78 слов в минуту. Однако ошибки в словах составляли 25,5%. Уровень ошибок можно было понизить, уменьшив словарный запас интерфейса: если он работал лишь с 119 словами, он допускал ошибки лишь в 8,2% случаев. (Речь идет об ошибках, допускаемым алгоритмом, когда тот пытается по импульсам отличить одно слово от другого). В любом случае ученые фиксируют существенный прогресс как в числе слов, так и в темпе и пластичности нейрокомпьютерной речи по сравнению с другими системами, также основанными на электрокортикографии.

В других экспериментах мозговые импульсы считывали иначе: для этого использовали матрицы тончайших электродов, погружавшихся непосредственно в мозг. Такие матрицы фиксируют сигналы нескольких сотен нейронов по отдельности, а сигнал от каждого нейрона поступает для обработки в компьютерную нейросеть. Матрицу из 128 электродов имплантировали женщине, которая практически не могла членораздельно говорить из-за бокового амиотрофического склероза. После обучения нейросети на 125 тысячах слов женщина сумела заговорить с темпом 62 слова в минуту. При этом ошибки оставили 23,8%. Как и в первом случае, количество ошибок можно было снизить путем уменьшения словарного запаса интерфейса: когда нейросеть оперировала 50 словами, вероятность ошибки составляла 9,1%.

Отмечается, что обе пациентки "разговаривали" не в прямом смысле: слова, о которых они думали, транслировались на экран.