Фото носит иллюстративный характер. Из открытых источников.
Фото носит иллюстративный характер. Из открытых источников.

Мужчина, парализованный ниже шеи из-за травмы спинного мозга, полученной в 2007 году, научился снова «писать» благодаря системе мозговых имплантатов, переводящих его воображаемый почерк в реальный текст. А это означает, что мозг способен сохранять представления о точных движениях, даже когда тело уже в течение многих лет не в состоянии их выполнять, пишет журнал Nature.

 

Устройство, разработанное в ходе исследовательского проекта под названием BrainGate, представляет собой нейрокомпьютерный интерфейс, или интерфейс «мозг-компьютер» (англ. brain-computer interface (BCI)), который использует искусственный интеллект (ИИ) для интерпретации сигналов нейронной активности, генерируемых во время письма.

 

Уникальность устройства в том, что ученые впервые смогли расшифровать активность мозга, связанную с попыткой писать от руки. До этого разработчики были сосредоточены на другой технике: отслеживание движений курсора и выбор символов на виртуальной клавиатуре.

 

В проекте BrainGate по созданию BCI участвуют ученые Стэнфордского университета, Университета Брауна, Массачусетской больницы общего профиля, Гарвардской медицинской школы, Медицинского центра ветеранов в Провиденсе (штат Вирджиния) и частного исследовательского университета в Кливленде Case Western Reserve.

 

Подобные системы, разработанные в рамках проекта BrainGate, уже несколько лет занимаются расшифровкой нейронной активности и превращением ее в текст, но многие предыдущие интерфейсы фокусировались на различных мозговых метафорах для обозначения того, какие символы нужно писать, например, на наборе текста с помощью компьютерного курсора, управляемого сознанием.

 

Однако было неизвестно, насколько хорошо нейронные представления почерка —  гораздо более ловкого, своеобразного и быстрого двигательного навыка — могут сохраняться в мозге и насколько хорошо их можно использовать для взаимодействия с интерфейсом «мозг-компьютер».

 

Фрэнк Уиллетт, научный сотрудник Медицинского института Говарда Хьюза Стэнфордского университета: 

 

Мы знаем, что мозг сохраняет способность представлять точные движения в течение десятилетий после того, как тело утратило способность выполнять их. Теперь мы узнали, что сложные запланированные движения, включающие искривленные траектории, такие как почерк, могут быть даже легче и быстрее интерпретированы алгоритмами искусственного интеллекта, чем более простые движения, такие как перемещение  курсора.

 

В эксперименте участвовал 65-летний парализованный мужчина (в исследовании ему было присвоено имя Т5). Представляя в голове, как он пишет, испытуемый смог силой мысли набирать на компьютере 90 символов — 18 слов в минуту. Точность интерпретации — 94 %. Без ошибок не обошлось, так как некоторые буквы пишутся похожими движениями: например, r, h, n. Однако при включенной автокоррекции точность составила 99 %.

 

По словам исследователей, эта скорость не только значительно выше, чем в предыдущих экспериментах с BCI (с использованием виртуальных клавиатур), но и почти соответствует скорости набора текста пользователями смартфонов — мужчинами того же возраста (115 символов, или 23 слова в минуту). Когда Т5 это делал, электроды, вживленные в моторную кору головного мозга, регистрировали сигналы его мозговой активности, которые затем интерпретировались алгоритмами, работающими на внешнем компьютере, расшифровывая воображаемые траектории движения ручки, которая мысленно прорисовывала 26 букв английского алфавита и некоторые основные знаки препинания.

 

Технология получила название Mindwriting — «мысленное письмо». Ученые рассчитывают, что она поможет создать новый и быстрый способ общения людей, утративших способность двигаться и говорить после травм или инсульта.

 

Два миниатюрных электрода размером не более таблетки аспирина поместили в ту зону мозга испытуемого, которая управляет движением кисти правой руки. Датчики BCI получали сигналы от отдельных нейронов, когда человек воображал письмо, и передавали их в систему, где специальный алгоритм распознавал шаблоны, создаваемые мозгом для каждой буквы (см. рисунок). Затем система отображала текст на экране в режиме реального времени.

 

Т5 убедительно показал, насколько перспективной может быть система виртуального письма для людей, которые практически полностью утратили способность к самостоятельному физическому передвижению.

 

Вот так система Mindwriting — «мысленное письмо» — считывает символы, свойственные индивидуальному почерку, которыми парализованный человек пишет текст в своей голове. bvjjvbvjukkФрэнк Уиллетт:

 

Эта новая система использует как богатую нейронную активность, регистрируемую внутрикорковыми электродами, так и возможности языковых моделей, которые, будучи применены к нейронно декодированным буквам, могут создавать быстрый и точный текст.

 

Буквы алфавита сильно отличаются друг от друга по форме, поэтому ИИ может быстрее декодировать намерения пользователя по мере рисования символов, по сравнению с другими системами BCI, которые не используют десятки различных входных данных подобным образом.

 

Следующие шаги в исследовании могут включать обучение других людей использованию интерфейса, расширение набора символов (например, использование заглавных букв), улучшение чувствительности системы и добавление более сложных инструментов редактирования для пользователя. В будущем ученые планируют использовать технологию мысленного почерка как часть комплексной системы, включающей навигацию по принципу «наведи и щелкни» (как в современных смартфонах) и модуль декодирования речи.

 

Ли Хохберг, невролог-реаниматолог, профессор инженерной школы Института мозговых исследований Университета Брауна:

 

Важная миссия нашего исследования — восстановление быстрой интуитивной коммуникации для людей с серьезными двигательными или речевыми нарушениями. Демонстрация возможности оперативного и точного нейронного декодирования почерка знаменует новую захватывающую главу в развитии клинически полезных нейротехнологий.

 


Недостаточно прав для комментирования

При копировании или цитировании текстов активная гиперссылка обязательна. Все материалызащищены законом Республики Беларусь «Об авторском праве и смежных правах».