脳コンピューターインターフェースにおける重要な進歩！国内チームが「フルスペクトル中国語解読」に成功：トップ3の正解率は100％に迫る

今年8月、ネイチャー誌に立て続けに掲載された2つの論文は、脳コンピューターインターフェースが言語回復において強力な能力を発揮することを実証した。しかし、既存の言語脳コンピューターインターフェース技術は主に「英語などのアルファベット言語」向けに構築されており、「漢字などの非アルファベットシステム」向けの言語脳コンピューターインターフェースシステムの研究はまだ空白状態にある。

最近、先端神経チップセンターのモハメッド・サワン教授チーム、自然言語処理研究室のチャン・ユエ教授チーム、チュー・ジュンミン教授チームが共同で最新の研究成果を発表し、脳コンピューターインターフェースのフルスペクトル中国語デコードを実現し、国際的な中国語デコード脳コンピューターインターフェース技術のギャップをある程度埋めました。

写真

論文アドレス: https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1

この研究では、定位脳波（SEEG）技術を使用して、すべての北京語の文字の発音プロセスに対応する脳内の神経活動信号を収集し、ディープラーニングアルゴリズムと言語モデルと組み合わせて、漢字の発音の全スペクトルのデコードを実現し、すべての北京語の文字の発音をカバーする中国語の脳コンピューターインターフェースシステムを確立し、脳活動をエンドツーエンドで出力して北京語の文章を完成させることを実現しました。

脳コンピューターインターフェースが中国語を解読

脳コンピュータインターフェース（BCI）は、生命科学と情報技術の将来の融合の主戦場として認識されており、重要な社会的価値と戦略的意義を持つ研究方向です。

脳コンピュータインターフェース技術とは、人間や動物の脳と外部デバイス間の情報交換のための接続パスを作成することを指します。その本質は、情報が元の筋肉や末梢神経の経路を迂回して外界との接続を実現し、人間の動作、言語などの機能をある程度代替できる新しいタイプの情報伝送チャネルです。

中国語は、5万以上の文字を持つ象形文字と音節ベースの言語であり、26文字で構成される英語とは大きく異なります。そのため、これは既存の言語脳コンピューターインターフェースシステムにとって大きな課題です。

この問題を解決するために、研究チームは過去3年間にわたって中国語の発音規則と特徴の詳細な分析を行ってきました。中国語の発音音節の3つの要素、すなわち頭子音、声調、末尾音に基づき、ピンイン入力システムの特性と組み合わせて、中国語に適した新しい言語脳コンピューターインターフェースシステムを設計しました。

研究チームは、中国語ピンイン全407音節と中国語の発音特徴を網羅した音声ライブラリを設計し、同時にEEG信号を収集することで、100時間を超える中国語音声SEEGデータベースを構築しました。

人工知能モデルのトレーニングを通じて、システムは漢字の発音音節の3つの要素（頭子音、声調、末尾を含む）の予測モデルを構築し、最終的に言語モデルを通じてすべての予測要素を統合し、意味情報を組み合わせて最も可能性の高い完全な中国語の文章を生成しました。

写真

研究チームは、この脳コンピューターインターフェースシステムのデコード機能を、日常的な中国の環境をシミュレートして評価しました。 2～15 文字の複雑なコミュニケーション シナリオをランダムに 100 回以上解読するテストを実施した結果、参加者全員の平均文字エラー率はわずか 29% にとどまり、一部の参加者は EEG で解読した文章で 30% という完全な正確性を達成しました。

比較的効率的なデコード性能は、3 つの独立した音節要素デコーダーの優れた性能とインテリジェント言語モデルの完璧な調整によるものです。特に、21 個の頭子音の分類に関しては、頭子音デコーダーの精度が 40% を超え (ベースラインの 3 倍以上)、上位 3 つの精度はほぼ 100% でした。また、4 つの声調を区別するために使用される声調デコーダーの精度も 50% に達しました (ベースラインの 2 倍以上)。

3 つの独立した音節要素デコーダーの優れた貢献に加えて、インテリジェント言語モデルの強力な自動エラー訂正機能とコンテキスト接続機能により、言語脳コンピューター インターフェース システム全体のパフォーマンスもさらに向上します。

写真

この研究は、表意文字言語である中国語のBCIデコード研究に新たな視点を提供します。また、強力な言語モデルが言語脳コンピューターインターフェースシステムのパフォーマンスを大幅に向上できることを実証し、表意文字言語の神経補綴に関する将来の研究に新たな方向性を提供します。

この研究は、神経疾患の患者が近い将来、コンピューターを制御して自分の思考で中国語の文章を生成し、コミュニケーション能力を取り戻すことができるようになることも示唆しています。

参考文献:

https://www.biorxiv.org/content/10.1101/2023.11.05.562313v1