Сигналы нейронов перевели в речь

Для многих людей, которые парализованы и не могут говорить, сигнал о том, что они хотели бы сказать, скрывается в их мозгах. До сих пор никто не мог напрямую расшифровать эти сигналы. Но американские специалисты из Колумбийского университета недавно добились прогресса в преобразовании данных, полученных с помощью электродов, хирургически размещенных на мозге, в речь, генерируемую компьютером. Используя компьютерные модели, известные как нейронные сети, они воссоздали слова и предложения, которые в некоторых случаях были понятны человеку. Информация об этом исследовании была опубликована в журнале bioRXiv.

По словам исследователей, проблем было очень много:

Мы пытаемся определить формирования нейронов, которые включаются и выключаются в разные моменты времени и отвечают за звучание речи. Сделать такую разметку не очень просто.

Причем то, как мозговые сигналы преобразуются в речевые звуки, зависит от человека, поэтому компьютерные модели должны быть обучены индивидуально. Модели наиболее эффективны работали, когда исследователи могли получать прямой доступ к мозгу, например при операциях на открытом черепе или при имплантации электродов для точного определения происхождения припадков у эпилептиков.

Данные передаются в нейронные сети, которые обрабатывают паттерны, передавая информацию через слои вычислительных узлов. Сети учатся, настраивая связи между узлами. В ходе исследования сети учитывали данные записей речи, что человек производил или слышал, и данные об одновременной деятельности мозга.

В экспериментах использовались данные, полученные от пяти пациентов с эпилепсией. Сеть проанализировала записи из слуховой коры головного мозга, когда участники слышали записи рассказов и людей, называющих цифры от нуля до девяти. Затем компьютер реконструировал разговорные числа только на основе нейронных данных.