Китайские учёные создали машину, которая превращает мысли в речь

По сообщениям китайских СМИ, китайские исследователи создали машину для чтения мыслей , которая может преобразовывать мысли в разговорный мандарин (официальный язык КНР и Тайваня).

Команда учёных использовала электрокортикографию (ЭКоГ), тип электрофизиологического мониторинга, который записывает сигналы мозга непосредственно с его поверхности.

Исследователи имплантировали электроды в мозг 5 пациентов, перенесших операцию по удалению опухоли головного мозга, и попросили их произнести 1 из 8-ми слогов с разными тонами во время медицинской операции. Имплантаты-электроды записывали активность, а модель затем расшифровывала ее благодаря своей способности одновременно выбирать как основной слог, так и тон сигналов мозга.

По словам учёных, их исследование может помочь китайскоязычным пациентам с коммуникативными расстройствами. Его также можно использовать для повышения эффективности технологии интерфейса мозг-компьютер, которая позволяет людям управлять компьютерами с помощью своего мозга.

Более ранние исследования достигли уровня генерации речи из сигналов мозга (синтез речи) для нетональных языков, таких как английский и японский, но тональные языки, такие как мандарин, создают уникальные проблемы для экспериментов. Два миллиарда человек говорят на тональных языках, что составляет более 60% языков, на которых говорят во всем мире.

Мандарин, как и другие тональные языки, использует изменение высоты тона слогов для передачи различных значений. Например, 1 слог мандаринского языка может означать 4 разных слова — все в зависимости от используемого тона.