口の中に124個のセンサーを埋め込み、Google Glassの創設者の新プロジェクト：舌でメッセージを送信

不運なGoogle Glassはスマートデバイスの波の中で大きなインパクトを与えることはできなかったが、それでもウェアラブルデバイスの開発をリードしたことは否定できない。最近、Google Glass の開発者の一人が、Google Glass の本質を別の方法で、つまり人々の手を自由にし、言葉を使わずに情報を伝達することで伝えたいと考えています。

Google Glass の開発者の一人、サド・スターナー氏による「SilentSpeller」と呼ばれる新しいプロジェクトでは、「歯の保持装置」を使用してメッセージを送信し、舌の動きで「静かに」単語を綴ることができ、システムがユーザーの言いたいことを認識します。この装置はユーザーの舌の動きを追跡することで機能し、研究者らはシステムが文字を97パーセントの精度で認識し、単語全体を93パーセントの精度で認識できると主張している。

公開されたビデオクリップでは、ユーザーが歩きながらデバイスを持ち運ぶことができることがわかります。

あるいは、料理中に伝えたいメッセージの文字を舌を使って「発音」することで、「タイピング速度」を速めることができます。

舌音マップを作成し、音が生成される場所を特定します。

このデバイスは、主に発音中の舌の位置を特定することによってこの情報を確認します。 論文によれば、この装置は改造された歯科用リテーナーに124個のセンサーを挿入し、口内の舌の動きを読み取り、そのデータをUSBケーブル経由でパソコンやスマートフォンに送信する仕組みになっている。 これは、ワイヤーがユーザーの口から垂れ下がることを意味するが、研究者らは、最終的には口の中に完全に収まるワイヤレスバージョンを開発したいと述べている。

正確な識別を確実にするために、このデバイスを使用する場合は、固定式歯科用リテーナーをカスタマイズするための歯型も必要です。研究者らは2020年1月からこのプロジェクトに取り組んでいるが、COVID-19パンデミックによりカスタムバインダーを装着できる参加者の数が制限されているため、進捗は遅い。

スターナー氏はBuzzFeed Newsとのインタビューで、この装置は最終的にはパーキンソン病や本態性振戦などの運動障害を持つ人々を助けるために使われる可能性があると語った。彼はまた、非常に静かな場所（図書館など）や非常に騒がしい場所、あるいは自分の声や情報を外部に知られたくない場合のハンズフリー通信など、消費者向けの潜在的なアプリケーションも見ています。これもまた良い使用例です。

論文リンク:

https://olwal.com/projects/research/silentspeller/kimura_silentspeller_chi_2021.pdf

SilentSpeller を開発するにあたり、研究者たちはまったく新しい歯科用リテーナーをゼロから開発しないことを選択しました。代わりに、彼らは SmartPalate と呼ばれる既存の製品を改良しました。これは歯科矯正医が使用する歯科用リテーナーですが、言語療法のために舌の動きを追跡するための小さなセンサーが装備されています。

このシステムは、人が話すときに舌がどのように機能するかを視覚的に表すマップを作成する。SmartPalateの主な目的は発話障害を持つ人々を支援することだが、SilentSpellerに取り組んでいる研究者らは、このシステムを改良してリテーナーをコミュニケーションツールに変えた。

Google Glassから舌メーカーまで、Google Glassの創始者のウェアラブルデバイスの夢

スターナー氏は現在も Google でパートタイムの研究科学者として勤務し、機械学習に注力している。 この学術論文のもう一人の著者は、グーグルの上級研究科学者で、同社のインタラクションラボを率い、グーグルの拡張現実部門のテクニカルディレクターも務めるアレックス・オルワル氏である。

10年前、スターナー氏はGoogle Glassの開発を大々的に宣伝し、かなりの論争を巻き起こした。そこで今回、SilentSpellerはジョージア工科大学オビエド校の研究プロジェクトについてインタビューを受け、同校の教授であるスターナー氏は、製品の現在の目標は製品ロードマップというよりもむしろ学術的なものであると強調した。しかし本質的には、SilentSpeller は、Google Glass を開発した当時の Starner の夢を今も実践しており、手を使うのが不自由な人でも、静かに独立して外の世界に情報を送信できるようにしています。

スターナー氏によると、プロジェクトの主任研究者である木村直樹氏は東京大学の大学院生であり、ジョージア工科大学でのスターナー氏の交換留学生でもあるという。このプロジェクトに参加している他の研究者は、カーネギーメロン大学やワシントン大学などの大学の研究者です。このプロジェクトは、昨年 5 月にコンピューティング システムにおける人間工学に関する会議で発表されましたが、一般の人々の注目をあまり集めませんでした。

SilentSpeller に関する学術論文では、研究者らがいくつかの使用例を挙げています。このシステムは、運動能力に制約のある人やその他の消費者を支援するだけでなく、戦場での応用も可能となる可能性がある。論文によると、使用例の 1 つは「静かな通信が重要な国連の活動」である。対応する画像には、アサルトライフルを持った重装備の兵士 2 人が写っており、兵士たちは SilentSpeller を通じて戦術について話し合っている可能性があります。

Google の科学者が大学の研究者と協力するのは今回が初めてではない。 Google は長年、学界と密接な関係を築いてきました。結局のところ、同社はスタンフォード大学の当時大学院生だったラリー・ペイジとセルゲイ・ブリンによるプロジェクトとして始まりました。同社は 15 年間にわたり、Google Faculty Research Awards を通じて学術研究者に財政支援を行ってきました。同社は2020年にこのプログラムを中止し、代わりに過小評価されているコミュニティーに貢献するプロジェクトに取り組んでいる有望な研究者や教員の支援に重点を置くと発表した。