Интерфейс мозг-компьютер может перевести мысли в речь

Согласно исследованию, опубликованному во вторник, нейроинженеры создали новую систему, которая может преобразовывать простые мысли в узнаваемую речь с использованием искусственного интеллекта и синтезатора речи.

Команда исследователей из Нью-Йорка смогла воссоздать слова, используя только мозговую активность, инновацию, которая может проложить путь для технологий, контролируемых мозгом, таких как, например, смартфон, который может переводить ваши мысли в текстовые сообщения.

Доктор Нима Месгарани, доцент Колумбийского университета, руководил исследованием и рассказывает обратный что он видит большой потенциал, чтобы помочь восстановить речь людям, выздоравливающим после инсульта или живущим с боковым амиотрофическим склерозом (БАС). Кроме того, этот тип технологий может также открыть двери для смартфонов, подключенных к мозгу, которые могут позволить пользователям отправлять текстовые сообщения, используя свой ум, хотя до этого еще далеко. Его работа была опубликована в журнале Научные отчеты.

«Одним из мотивов этой работы… являются альтернативные методы взаимодействия человека с компьютером, такие как возможный интерфейс между пользователем и смартфоном», - говорит он. «Однако это все еще далеко от реальности, и на данный момент информация, которую можно извлечь с помощью неинвазивных методов, недостаточно хороша для приложения с речевым интерфейсом мозг-компьютер».

Слушайте речь, генерируемую интерфейсом мозг-компьютер.

Чтобы разработать новую технику, Месгарани и его коллега, доктор Ашеш Динеш Мехта из Института нейробиологии Northwell Health Physician Partners, начали с изучения мозговой активности пациентов с эпилепсией для их исследования. У этих пациентов уже были имплантированы электроды в мозг для мониторинга судорог, которые Месгарани и Мехта могли использовать для сбора данных для своих исследований.

Дуэт попросил желающих участников послушать выступающих, которые читают цифры от нуля до девяти, а затем записал сигналы мозга от этого взаимодействия. Затем они обучили нейронную сеть - программу, которая имитирует структуру нейронов в человеческом мозге - распознавать паттерны в сигналах и переводить их в слова, звучащие роботом, с использованием синтезатора речи, известного как вокодер.

Результатом стал короткий голосовой клип того, что звучит как Microsoft Sam, считая от нуля до девяти. Впечатляет то, насколько ясна речь по сравнению с другими методами, исследованными исследователями. Впрочем, предстоит еще много работы.

«Может потребоваться десятилетие, прежде чем эта технология станет доступной», - говорит Месгарани. «Нам нужно больше прогресса как в долгосрочных, биосовместимых имплантируемых электродах, так и / или в прорывных технологиях в неинвазивных методах нейронной записи. Нам также нужно лучше понять, как мозг представляет речь, чтобы мы могли усовершенствовать наши методы декодирования ».

Например, всем пациентам, участвовавшим в этом исследовании, была сделана операция на головном мозге с целью имплантации мониторов электрокортикографии. Это чрезвычайно инвазивный процесс, который требует операции на открытом мозге, и большинство людей, возможно, не захотят пройти, даже если бы была возможность восстановить некоторые из их речевых способностей.

На данный момент это исследование представило метод для декодирования сигналов мозга в речь. Если мы поймем, как точно определить активность мозга без хирургического вмешательства, мы окажемся на один шаг ближе к не только революционному логопеду, но и потенциально к созданию смартфонов, подключенных к мозгу.

В последние несколько лет исследование интерфейса мозг-компьютер получает новый интерес. В апреле 2017 года Facebook объявил, что работает над BCI во время своей ежегодной конференции F8. И Элон Маск объявил в ноябре 2018 года, что Neuralink, его собственный стартап BCI, нанимает на работу.

Аннотация

Реконструкция слухового стимула - это метод, который находит наилучшее приближение акустического стимула от популяции вызванной нейронной активности. Реконструкция речи из слуховой коры человека создает возможность нейропротезирования речи для установления прямой связи с мозгом, и было показано, что это возможно как в явных, так и в скрытых условиях. Тем не менее, низкое качество восстановленной речи серьезно ограничило применение этого метода для приложений интерфейса мозг-компьютер (BCI). Чтобы усовершенствовать современное состояние нейропротеза речи, мы объединили последние достижения в области глубокого обучения с последними инновациями в технологиях синтеза речи, чтобы реконструировать разборчивую речь с закрытым набором из слуховой коры человека. Мы исследовали зависимость точности восстановления от методов линейной и нелинейной (глубоких нейронных сетей) регрессии и акустического представления, которое используется в качестве цели восстановления, включая слуховую спектрограмму и параметры синтеза речи. Кроме того, мы сравнили точность восстановления в диапазоне низких и высоких частот. Наши результаты показывают, что модель глубокой нейронной сети, которая непосредственно оценивает параметры синтезатора речи по всем нейронным частотам, достигает наивысших субъективных и объективных оценок в задаче распознавания цифр, улучшая разборчивость на 65% по сравнению с базовым методом, который использовал линейную регрессию для реконструировать слуховую спектрограмму. Эти результаты демонстрируют эффективность алгоритмов глубокого обучения и синтеза речи для проектирования систем речи BCI следующего поколения, которые не только могут восстановить связь для парализованных пациентов, но также могут трансформировать технологии взаимодействия человека с компьютером.

Видео по теме: Роботы, воспринимающие мозговую волну, могут служить расширениями человеческого тела