Превратить мысли в речь без помощи виртуальной клавиатуры

Американские исследователи из Калифорнийского университета в Сан-Франциско опубликовали в журнале Nature Communications результаты исследования, в котором имплантированные в мозг электроды использовались для "чтения" целых слов из мыслей.  Предыдущая вариант технологии требовал от пользователей произносить слова по буквам с помощью виртуальной клавиатуры. При этом исследователям требовались недели, чтобы перевести мозговую активность в речь, что далеко не соответствует мгновенным результатам, которые были бы необходимы для того, чтобы такая технология была клинически полезной.

Теперь, в рамках нового исследования, снова работающего с добровольцами, ученые впервые расшифровали произнесенные слова и фразы в режиме реального времени из сигналов мозга, контролирующих речь, с помощью нового подхода, предполагающего идентификацию контекста, в котором говорили участники.

Участники исследования слушали вопросы с несколькими вариантами ответов и вслух отвечали на них.  Электродный массив регистрировал активность в некоторых частях мозга, связанную с пониманием и производством речи, и система искала закономерности, которые соответствовали словам и фразам в режиме реального времени.

Участники ответили на вопросы с одним из нескольких вариантов, при этом их мозговая деятельность была записана. Система на базе алгоритма машинного обучения затем угадывала, когда они задавали вопрос и когда отвечали на него, а затем определяла и содержание обоих речевых событий. Прогнозы определялись путем анализа предыдущего контекста. Точность результатов определения контекста составила 61-76% по сравнению с 7-20%, что было характерно при случайном угадывании.

Новая методика основана на технологии Facebook, которая была еще в 2017 году представлена в MIT Mediа Lab, и, по мнению американских ученых, может привести к созданию системы, обеспечивающей возможность свободного общения для людей с нарушениями речи.