Ученые дебютируют с системой прямого перевода мыслей в текст

Исследователи из Калифорнийского университета утверждают, что они построили систему, которая может переводить сигналы мозга непосредственно в текст. Это многообещающий шаг на пути к созданию "речевого протеза", который мог бы эффективно обеспечить возможность людям транслировать свои мысли в виде текста непосредственно в компьютер. По словам участника эксперимента американского ученого Джозефа Макина,

Мы еще пока не достигли этой планки, но думаем, что наша разработка со временем может стать основой речевого протеза.

Макин и его коллеги описали новую систему в статье, опубликованной в журнале Nature Neuroscience.

В своем исследовании они использовали четырех пациентов с эпилепсией, у которых уже были имплантированы в мозг электродные массивы для мониторинга состояния. Они попросили участников неоднократно читать определенные предложения вслух, собирая нейронную информацию - набор данных, который они затем использовали для обучения алгоритма искусственного интеллекта для интерпретации сигналов даже тогда, когда испытуемые читали про себя.

Работа система осуществлялась следующим образом. Данные нейронной активности передавались в алгоритм машинного обучения, который преобразовывал эти данные для каждого произнесенного предложения в строку чисел. Чтобы убедиться в том, что эти цифры связаны только с аспектами речи, система сравнивала небольшие последовательности данных об активности мозга с фактическими записями звука. Затем строка чисел подавалась во вторую часть системы, которая преобразовывала ее в последовательность слов.

Сначала система выдавала не имеющие смысла предложения. Но по мере того, как система сравнивала каждую последовательность слов с предложениями, которые фактически читались вслух, она совершенствовалась, узнавая, как строка чисел соотносится со словами, и какие слова имеют тенденцию следовать друг за другом.

Система все еще имеет свои недостатки - в первую очередь это касается того, что она лучше всего работает с предложениями, по которым она уже прошла обучение, и может оперировать лишь с небольшим количеством предложений. Но ее точность впечатляет - количество ошибок составляет всего около трех процентов, что несколько ниже, чем у людей, которые переводят речь в текст.

Исследователи, стоящие за этой системой, надеются, что она может быть использована в качестве основы для создания устройства связи для людей, которые не могут печатать или говорить в связи с полным параличом (синдром запертого человека) или схожими заболеваниями.