おっと、私の電話のパスワードは安全ではありません! AIアルゴリズムを使用して携帯電話の入力を「監視」すると、タッチスクリーンも影響を受ける

「この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より転載を許可されています。転載については情報元にお問い合わせください。」

タッチスクリーンでは携帯電話のパスワードが漏洩する可能性もあります。

[[261302]]

携帯電話の内蔵マイクと AI アルゴリズムを組み合わせることで、入力したすべての単語が漏れないようにすることができます。

聞こえないかもしれませんが、画面上で指をタップするたびに音波が発せられます。マイクは画面から1cm以内の距離にあるので、簡単に録音できます。

ケンブリッジ大学の科学者たちは、タッチスクリーンを盗聴できるAIを開発した。人間が微細な音から入力した情報を復元することができます。

45人のボランティアによる実際のテストでは、すべての数字と文字がAIによって「盗まれた」ことが判明した。

サウンドウェーブはあなたを裏切る

誰もいないときにタッチスクリーンで静かにドアのロックを解除できたのに、音波によってパスワードが漏洩したのはなぜですか?

「Hearing your touch」は論文のタイトルです (完全版: Hearing your touch: スマートフォンの新しい音響サイド チャネル)。ここで研究者は「マウスブック」を明らかにしますが、これは実際には理解するのが難しくありません。

タッチスクリーンを静かに操作した場合でも、指で軽くタップするだけで音波が発生します。画面上のさまざまな位置をタップすると、それに応じて音波情報が変化します。

△タッチスクリーンの「f」キーを押したときの音波振動の形状

そうです、重要な情報はこれらのさまざまな形の音波に隠されています。そして、この情報は携帯電話の内蔵マイクによって取得できます。

研究者らは、携帯電話に埋め込まれると内蔵マイクが作動し、タッチされたときの音波情報を秘密裏に記録できる悪質な携帯電話アプリケーションを開発した。

△実験に使用した悪質な音波収集プログラム

研究者たちは音波の形状とタッチ位置の対応情報を収集し、入力内容を復元する AI モデルをトレーニングしました。

この時点で、犯罪のプロセスは基本的に形を成しています。

悪意のあるプログラムが静かに起動→パスワード入力時の音波を静かにキャプチャ→AIモデルが画面上の指の対応する位置を予測→入力されたパスワードと情報を復元。

AIとマイクは明確な役割分担のもとで連携し、内部的にも外部的にも調整され、秩序正しくあなたのプライバシーを盗みます。

[[261303]]

現場検証

このプログラムはどれほど効果があるのでしょうか? 研究者たちは 45 人のボランティアを募集し、一連のテストを開始しました。

テスト全体で使用されたモデルは、Google の Nexus 5 携帯電話と Nexus 9 タブレットです。前者は2013年に4.95インチの画面で初めてリリースされ、後者は2014年に8.9インチの画面でリリースされました。どちらのデバイスにも 2 つのマイクが内蔵されています。

△実験装置のマイクの位置の図：左がNexus 5、右がNexus 9

現実世界の環境をシミュレートするために、研究者は静かな実験室ではなく、さまざまなノイズ環境でシステム全体の精度をテストするために 3 つの日常的な環境を選択しました。

• 談話室: 周囲には人々のおしゃべりが聞こえ、時折コーヒーを淹れる大きな音が聞こえます。
• 読書室：コンピューターのキーボードの音と静かな会話が混ざり合う環境。
• 図書館：会話はほとんどありませんが、コンピューターのキーボードの音はどこからでも聞こえます。

研究者らは45人のボランティアに、これら3つの環境で4セットの実験を実施してもらいました。

最初のボランティア グループは、1 から 9 までの数字をランダムに 10 回ずつ入力する必要がありました。2 番目のグループは、4 桁のパスワードを 200 セット入力する必要がありました。3 番目のグループは、文字をランダムに入力しました。4 番目のグループは、チャット コーパス NPS から取得した 5 文字の単語を入力する必要がありました。

実験結果により、この攻撃方法の実現可能性が検証されました。

20回の実験で、AIは150個の4桁のパスワードのうち91個を正確に復元することができ、精度は61%でした。

文字で構成されたコードを解読することは問題ではありません。 27 語のパスワードでテストしたとき、実施された実験は 10 回のみでした。モデルは携帯電話で 7 語を解読し、タブレットでそのうち 19 語を正常に復元しました。

つまり、気づかないうちにパスワードが瞬く間に広まってしまうのです。

音波の中には小さなミミがたくさんいる

実際、慌てる必要はありません。AI があなたの携帯電話のパスワードを取得する方法は複数あるからです。

昨年9月、英国ランカスター大学が発表した研究では、携帯電話のスピーカーに搭載されたソナーを使用してパスワード、特にグラフィックパスワードを盗んだ。

ソナーの原理は、音波の発射と反射の間の時間差を計算して、物体の位置と物体が移動したかどうかを判断することです。この研究では、AIがマイクで録音されたエコーを分析し、スマートフォン画面上のユーザーの指の動きを追跡することができました。

すべてはあなたが気づかないうちに起こります。

もちろん、上記は携帯電話だけの問題です。

最近では、キーボードからハードドライブまで、あなたの秘密を聞くことができないものはどれでしょうか?

（これは真剣な発言であり、運転とは関係ないことにご注意ください。）

あなたの家の鉢植えの植物でさえ、あなたが言ったことを知っているかもしれません。

それでは一つずつお話していきましょう。

まずはキーボードを聴いてみましょう

昨年12月、「Keytap」と呼ばれるキーボード盗聴呪文がそのシンプルさと効果で大きな注目を集めました。

まず、マイクを使用して、さまざまなキーを押したときの音波を収集します。たとえば、各キーを 3 回ずつ収集します。

次に、各キーの平均波形を計算するための簡単な予測モデルを構築します。

収集した音波のピークを揃えて遅延の影響を回避し、類似性メトリックを使用して波形を細かく揃えます。揃えた後、単純な加重平均を実行して平均波形を取得します。

最後に、キーボードで入力を続けます。平均波形との類似性を比較することで、どのキーが押されたかを検出できます。

オープンソースコードもあるので、誰でも直接遊ぶことができます。

ハードドライブの盗聴、マイクは不要

これはミシガン大学と浙江大学の学者によるブレインストーミングの結果です。オリジナルの機械式ハードディスクは、マイクを追加したりハードウェアを変更したりすることなく、音質の良い盗聴装置になりました。

ハードディスクが動作しているとき、スピンドルは高速回転してディスクを駆動します。上部の磁気ヘッドはディスク上の磁場の変化を感知し、磁場を変化させることでデータを書き込みます。

このプロセスは非常に繊細です。磁気ヘッドは外部の音波の影響を受ける限り、ずれてしまいます。このオフセットは、ハードディスク位置センサーによって生成される電圧信号に反映されます。

このわずかなずれをAIに分析させることで、科学者たちは人間の話した内容と高忠実度の音楽を復元し、Shazamの曲認識機能は曲名も正しく答えられるようになった。

[[261306]]

結局のところ、ハードディスクのサンプリング レートは 30,000 Hz を超えており、これはほぼ CD レベルの録音品質です。

ポテトチップスはただサクサクしているだけではない

その優雅な音こそが、ポテトチップスを食べる最大の喜びなのかもしれません。

しかし、人間の会話を盗聴するために、科学者はポテトチップスを割るときに発生する音波に頼るのではなく、視覚的な技術を使用します。

MIT、マイクロソフト、アドビの混合チームは、防音ガラス越しにポテトチップスの袋の振動を高速カメラで撮影した。アルゴリズムは、話している人が男性か女性かを判断し、さらには会話の内容を復元することができた。

研究者らによると、音が伝播して周囲の物体に触れると、振動の中に肉眼では検知できない微妙な視覚信号が形成されるが、高速カメラ（1秒あたり2000～6000フレーム）で捉えることができるという。 AIは視覚信号を分析して人間の会話を理解することができます。

さらに、ポテトチップスの袋だけでなく、アルミホイル、水の入ったコップ、さらには鉢植えの植物も盗聴に使用できます。人間がこれらの物体を部屋に現れても全く不思議に思わないのは、まさに自然の恵みです。

この研究はトップカンファレンスSIGGRAPH 2014に選出されました。

この場合、おそらく世界中のすべてがあなたの秘密を知っているでしょう。

幸いなことに、これらの方法はまだ研究段階にあります。

ポータル

この論文には、ケンブリッジ大学のイリア・シュマイロフ、ジェフ・ヤン、ロス・アンダーソン、サムスン・リサーチ・インスティテュート・オブ・アメリカのローラン・サイモンの 4 人の研究者が参加しています。

論文タイトル: タッチの音を聞く: スマートフォンの新しい音響サイドチャンネル、アドレス: https://arxiv.org/abs/1903.11137