トランスフォーマーは人気を失っているのか？常識的な問題を解決したい場合、ニューラルネットワークは答えではない

NLP 研究者は皆、言語モデルは文法的な文脈情報しか学習できず、常識的な質問に関しては無力であることを知っています。南カリフォルニア大学の助教授が最近「The Conversation」に出演し、常識と解決策についての見解を述べた。彼は、この問題を解決するには5年から50年かかるかもしれないと悲観的に予測したが、正確にどれくらいの時間がかかるかは誰にもわからなかった。

人工知能と実際の人間の脳の間にギャップがあるとすれば、最も重要なのは、機械には生活における常識が欠けているということだ。合理的かつ自明と思われるものはすべて、コンピュータには理解できません。

コンピューターは「レモンは酸っぱい」とか「熟したバナナだけが黄色い」ということを知りません。これは、汎用人工知能の分野でも未解決の問題です。

[[420441]]

そして、人間は過去の常識に基づいて行動を調整することができます。例えば、あなたとあなたの友人の王二は一緒に昼食をとる約束をし、先週一緒に「開封料理」を食べる予定でしたが、今週彼が痩せ始めたことを思い出したので、安全のために注文する前にもう一度話し合うべきです。

しかし、機械にはそれができない。その強力な記憶力と論理では、「開封野菜」と減量を関連付けることができないのだ。

私たちは、人間社会でうまく生きていくために欠かせない常識を持っているため、このような状況に対処できることを当然のことと考えています。たとえば、料理をするとき、ガスと悪臭を関連付けることはできません。その結果は悲惨なものになるからです。

南カリフォルニア大学の助教授であるマヤンク・ケジリワル氏は最近、The Conversation でインタビューを受け、コンピューターが常識を処理する方法とジレンマについての見解を述べた。

常識の定義

常識は普遍的であり、人間が周囲の世界を理解し、学習する上で不可欠なものですが、曖昧でもあり、明確な定義ができません。

しかし、20 世紀初頭、イギリスの哲学者で神学者のギルバート・キース・チェスタトン (GK チェスタトン) は次のように言いました。

常識とは、ルールを超えた、荒々しいものである。

常識とは、荒々しく、野蛮で、ルールを超えたものである。

現代の定義では、それは教室を通じてではなく自然に与えられ、人々が日常生活を送ることを可能にする能力であると考えられています。

常識は非常に広範囲で、期待を管理したり他人の感情を推論したりする社会的能力だけでなく、重い石を薄いプラスチックのテーブルの上に安全に置くことができないことを知るなどの生来の身体感覚も含まれます。それは生来のものであるか、あるいは単なる単純な物理的感覚です。なぜなら、人々はこれらのことを知っているにもかかわらず、物理的な方程式を研究することによってこれらの結論に達するわけではないからです。

さらに、常識には、時間、空間、出来事などの抽象的な概念に関する背景知識も含まれます。この知識により、人々はあまり正確に考えなくても、世の中の物事を計画し、見積もり、整理することができます。

常識は曖昧なので計算するのが難しい。

常識は、1950 年代に AI 分野が発展して以来、AI の最前線における重要な課題となっています。人工知能、特にゲームプレイとコンピュータービジョンの分野では驚異的な進歩が見られますが、機械の常識が人間の常識の豊かさに到達するにはまだまだ遠い状況です。

そのため、AI は COVID-19 患者の診断や治療法の推奨といった複雑で現実的な問題を解決できますが、常識を必要とするその他の問題は失敗することが多いのです。

現代の AI は、あいまいで一連のルールで定義できない常識とは対照的に、非常に特殊な問題を解決するように設計されています。最新のモデルでさえ、時には不合理な間違いを犯すことがあり、これは AI の世界モデルに何か根本的なものが欠けていることを示唆しています。

GPT-3に次のテキストを入力すると、

「あなたはクランベリージュースを一杯注ぎ、そこに無意識に小さじ一杯のグレープジュースを注ぎます。見た目は問題なさそうです。匂いを嗅いでみますが、ひどい風邪をひいているので何も匂いません。喉が渇いています。それであなたは...」

その後、GPT-3 は次のように記述を続けます。

「それを飲みなさい。あなたはもう死んでいる。」

（なんてひどいジュースなんだ）

人工知能コミュニティは常識システムの研究にますます注目しています。常識の分野での研究を加速させるため、2019年に4年間のマシン常識プロジェクトを開始した国防高等研究計画局は、この分野の問題と研究の現状を概説した論文を発表した。

マシン常識プロジェクトは、常識的な質問に答えるコンピュータ システムを構築するプロジェクトである Multi-modal Open World Grounded Learning and Inference (MOWGLI) を含む、マシン常識に関する現在の研究の多くに資金を提供しています。

Transformer はすでに NLP の世界で流行していますが、本当に常識的なシステムを救うことができるのでしょうか?

Transformer によって構築された自然言語モデルは、いくつかの調整を加えると、単純な常識的な質問に答えることができます。常識的な質問への回答は、人間のように会話できるチャットボットを構築するための重要な第一歩です。

この急速な進歩により、この分野の研究者は、科学と哲学の境界にある 2 つの関連する疑問に直面せざるを得なくなりました。常識とは何か? AI に常識があるかどうかはどうやって判断するのでしょうか?

最初の質問については、研究者は常識を、常識社会学、常識心理学、常識背景知識などのさまざまなカテゴリーに分類しました。さらに、一部の研究者は、これらのカテゴリーを計画、脅威の検出、感情など 48 の細かい領域に分類しました。

しかし、これらのカテゴリーの区別はあまり明確ではありません。テキストを分析してその構成要素を分類するプロの注釈者でさえ、常識のどの側面が特定の文に当てはまるかについては意見が一致しません。注釈者は、時間や空間などの比較的具体的なカテゴリーについては同意しましたが、より抽象的な概念については意見が一致しませんでした。

常識理論にはある程度の重複や曖昧さが避けられないことを認めたとしても、研究者は AI に常識があると本当に確信できるのでしょうか?

研究者は機械の常識を評価するために機械に質問をすることが多いが、日常生活における人間の行動の方がはるかに興味深い。人間は、基本的な因果関係を見極める能力、創造的な問題解決、見積もり、計画、会話や交渉などの基本的な社会的スキルなど、進化によって磨かれたさまざまなスキルを使用します。

このリストは長くて不完全かもしれませんが、AI の作成者が機械の常識の研究で勝利を宣言する前に、AI は同じことを達成する必要があります。

NLP システムの進化における Transformer の有効性も低下しており、このことはますます明らかになっています。

トランスフォーマーはますます大きくなり、電力を大量に消費するようになり、効果的にトレーニングするには大量のデータが必要になります。しかし、これまでのところ、人間の常識のニュアンスを理解することはできないことが証明されています。

ディープラーニングの先駆者たちでさえ、今日のニューラルネットワークがそのような飛躍を遂げる前に、新たな基礎研究が必要になるかもしれないことに同意しているようだ。この新しい研究分野がどれだけ成功するかによって、機械の常識が5年後に実現されるのか、それとも50年後に実現されるのかは分からない。