Угадывать слова, которые вы слышите, декодируя ваши мозговые волны
Способность расшифровывать сигналы мозга может помочь пациентам, потерявшим способность говорить, снова общаться, и в конечном итоге может обеспечить новые способы взаимодействия человека с компьютером. Ученые из компании Meta показали, что они могут определить, какие слова слышит человек, используя записи неинвазивного сканирования мозга.
В последние десятилетия наши возможности по исследованию мозговой активности человека значительно расширились, поскольку ученые разработали целый ряд технологий интерфейса мозг-компьютер, которые позволяют заглянуть в наши мысли и намерения.
Наиболее впечатляющие результаты были получены с помощью инвазивных устройств, которые вживляют электроды непосредственно в серое вещество мозга, в сочетании с искусственным интеллектом (ИИ), способным научиться интерпретировать сигналы мозга. В последние годы это позволило расшифровывать полные предложения из нейронной активности человека с 97-процентной точностью, а также переводить движения руки при попытке написать текст со скоростью, сравнимой со скоростью отправки СМС.
Но вживление электродов в мозг человека имеет очевидные недостатки. Эти рискованные процедуры оправданы с медицинской точки зрения только для пациентов, которым требуется запись мозга для решения других медицинских проблем, например эпилепсии.
Поэтому исследователи из компании Meta решили выяснить, смогут ли они достичь аналогичных целей, не прибегая к опасной операции на мозге. В работе, опубликованной на сервере препринтов arXiv, описана система ИИ, которая может предсказывать, какие слова слышит человек, на основе активности мозга, записанной с помощью неинвазивных интерфейсов мозг-компьютер.
Ученые опирались на четыре уже существовавших набора данных о мозговой активности, собранных у 169 человек, которые слушали записи разговоров людей. Сигналы мозга каждого добровольца были записаны с помощью магнитоэнцефалографии (МЭГ) или электроэнцефалографии (ЭЭГ), которые используют различные виды датчиков для регистрации электрической активности мозга вне черепа.
Они разделили данные мозга и аудио на фрагменты длиной в три секунды и передали их в нейронную сеть, которая затем искала закономерности, позволяющие связать эти два вида данных. После многочасового обучения ИИ на этих данных они протестировали его на ранее незнакомых данных.
Система показала наилучшие результаты на одном из наборов данных МЭГ, где она достигла точности 72,5%. Это означает, что при ранжировании 10 слов с наибольшей вероятностью связанных с сегментом мозговой волны, правильное слово находилось в 72,5% случаев.
Система набрала 67,2% на другом наборе данных МЭГ, но на наборах данных ЭЭГ она показала себя не так хорошо, достигнув точности 31,4% и 19,1%.
Однако не все уверены, что проблема точной интерпретации мозговых сигналов решаема в обозримом будущем. Томас Кнопфель из Имперского колледжа Лондона говорит, что попытка прощупать мысли с помощью таких неинвазивных подходов похожа на "попытку транслировать HD-фильм через старомодные аналоговые телефонные модемы", и выразил сомнение в том, что такие подходы когда-нибудь достигнут практического уровня точности.
