AIは昨日のことを思い出せるが、過去を思い出すのはまだ少し難しい

[[285973]]

人工知能が長期記憶を形成するには、脳科学、神経科学、心理学、行動経済学の分野における学際的な研究も必要です。

何かを記憶し、思い出す能力は、人間が生まれながらに持っている能力です。記憶により、過去の出来事を思い出し、それに基づいて将来の決定を下すことができます。 AI エージェントも同じことができるでしょうか? 最近、Google 傘下の人工知能企業 DeepMind は、エージェントが特定の記憶を使用して過去の行動を信頼し、将来について正しい決定を下せるようにする方法を提案しました。関連する結果は、Nature Communications の最新号に掲載されました。

では、現在AIに生成させている記憶は、人間の記憶と同じなのでしょうか？人工知能はどのような方法で記憶を生成できるのでしょうか？過去と比較して、「Deep Thinking」が提案する新しい方法はどのように違うのでしょうか？人工知能に記憶を与えるために、私たちはまだどのような努力をする必要があるのでしょうか？

AIに「記憶」を生成させる4つの方法

記憶とは、過去の経験をコード化、保存、思い出すなどの能力です。一般的に言えば、過去の経験を活用して現在の行動に影響を与える能力と考えることができます。これにより、人間は過去の経験から学び、現在の実践と関連付けることができます。

人生において私たちの心を動かす人々や物事は、しばしば記憶を呼び起こします。私たちはこれを通常、場面に感動すると言います。 「人間の長期記憶は実際にはマルチモーダルでシナリオベースの特徴を示しています。つまり、記憶イベントは保存時に複数の次元を含み、特定の次元をトリガーすると、すぐに手がかりを見つけて思い出すことができます。」元旺シンクタンクの人工知能事業部門のディレクターであり、チューリングロボティクスの最高戦略責任者であるタンミンゾウ氏は、科技日報の記者とのインタビューで、人々はしばしば記憶の量を過大評価していると述べました。実際には、私たちの記憶容量は非常に限られているため、人間の記憶自体は高度に抽象的です。記憶するときは通常、イベントの特徴を抽出することを選択し、多くの要素は単なる概要であり、漠然としています。映画を思い出すときと同じように、私たちはフレームごとに完全な画像を正確に思い出すことはできませんが、同様のシーンが再び現れれば、前のシーンを思い出すことができます。

これまでの研究では、AI が記憶を思い出せるようにするためにどのような方法が使われてきましたか?

Tan Mingzhou 氏は、一般的に使用されている方法が 4 つあると紹介しました。1 つ目は、長期短期記憶ネットワークです。これは、ネットワークに埋め込まれた明示的なメモリ ユニットで構成され、その機能は長期間にわたって情報を記憶することです。この技術は主に、Google、Amazon、Microsoft などの企業によって言語認識やインテリジェント アシスタントなどに使用されています。 2 番目の方法は、弾性重み統合アルゴリズムです。このアルゴリズムは主にさまざまなゲームでのシーケンス学習に使用されます。 「Deep Thinking」は、記憶の統合に関連するこのアルゴリズムを使用して、機械が情報を学習、記憶、取得できるようにすることを目的としています。 3 番目のアプローチは、ニューラル ネットワークとメモリ システムを組み合わせ、従来のコンピューターのように情報を保存し、例から学習できる微分可能ニューラル コンピューターです。 4 番目の方法は連続ニューラル ネットワークです。これは主に迷路学習、複雑な連続タスクの解決、および知識の転送に使用されます。

長期的な信用配分問題を解決することが鍵

では、AIが生成した記憶は人間の記憶と同じなのでしょうか？ 譚明洲氏はこう答えました。「現時点では、AIの記憶は学習から得た情報をコード化して保存し、それを認知に変換するプロセスにすぎません。これまでのやり方では、AIに起こったことをすべて保存させていましたが、記憶は保存とは異なります。記憶は効果的な想起のためのものです。人間の想起の仕方は、特定のブランドを通じて突然何かを思い出すなど、さまざまな閾値を超えることがよくあります。したがって、AIエージェントに過去に起こったことを思い出すかどうかを判断させるには、人間の想起の効果を達成するために、何らかの方法を採用して評価させることが重要です。」

AI が過去の出来事を思い出せるようにするには、長期的なクレジットの割り当て、つまり、長期的な一連の行動の中で行動の効用をどのように評価するかという問題が伴います。しかし、AI の既存のクレジット割り当て方法では、アクションと結果の間に長い遅延があるタスクを解決できません。

人工知能の研究では、長いシーケンス内での個々の行動の効用を評価する問題は、クレジット割り当て問題と呼ばれていると報告されています。評価では、過去の行動や将来計画されている行動を評価できます。

「特に強化学習では、エージェントが指導を受ける唯一の方法は報酬を通じてですが、報酬は通常まばらで遅延します」とタン・ミンゾウ氏は説明します。「エージェントが報酬を与えられると、どの行動を信頼すべきか、どの行動を非難すべきかを知ることが難しくなります。これがクレジット割り当て問題です。」

さらに、Tan Mingzhou氏は、AIが人間のように記憶を生成するためには、まずAIにエピソード記憶と自伝的記憶を学習させる必要があると紹介した。 AIにとってこれが難しい理由は、エピソード記憶と自伝的記憶が個人の経験特性が非常に強いためです。エピソード記憶や自伝的記憶は、本人から切り離されると活力を失いますが、機械にとってはそれは考えにくいことです。結局のところ、機械にとって、精神は物質とは独立して存在することができ、経験は主体とは独立して存在することができます。さらに、機械に起こりうる致命的な物忘れを防ぐ必要があります。認知心理学の研究によると、人間の自然な認知システムにおける忘却には、以前の情報を完全に消去する必要はないことが分かっています。しかし、機械にとって忘れることは壊滅的なことであり、以前の情報を消去する必要があることを意味します。

人間の複雑な記憶と比較すると、それはまだ初期段階にある。

Tan Mingzhou 氏によると、この「ディープシンキング」は、深層強化学習に基づくパラダイムを構築し、長期信用配分の原則を導入することを提案しています。まず、エージェントは知覚とイベントの記憶をエンコードして保存する必要があります。次に、エージェントは過去のイベントの記憶を識別してアクセスすることで将来の報酬を予測する必要があります。最後に、エージェントはこれらの過去のイベントを将来の報酬への貢献に基づいて再評価する必要があります。これにより、エージェントは特定の記憶を使用して過去の行動を信頼し、将来について正しい決定を下すことができます。

これを実現するために、「Deep Thinking」論文では、まずタスク構造を形式化すると示しており、これには主に 2 種類のタスクが含まれます。具体的には、最初の情報取得タスクでは、第 1 段階では、エージェントは即時の報酬なしで環境を探索して情報を取得する必要があります。第 2 段階では、エージェントは無関係な干渉タスクに長時間従事し、多くの偶発的な報酬を取得します。第 3 段階では、エージェントは第 1 段階で取得した情報を使用してリモート報酬を取得する必要があります。

第 2 の因果タスクでは、第 1 段階では、エージェントは長期的な因果関係のみを持つイベントをトリガーするためのアクションを実行する必要があります。第 2 段階では、干渉タスクでもあります。第 3 段階では、成功するために、エージェントは第 1 段階のアクティビティによって引き起こされる環境の変化を利用して成功を達成する必要があります。

この構造の完全なタスクを研究する前に、研究者はエージェントに、より単純な受動的なプロセス タスク、「受動的な視覚マッチング」を実行させることを検討しました。つまり、エージェントは、路上を歩いていて偶然に特定の情報を観察するのと同じように、情報を収集するために能動的な手段を講じる必要はありません。

「Deep Thinking」論文では、ゲームをプレイする過程における簡単なシーンを提示し、AIエージェントが探索した経路と戦略を記憶できるようにしています。もちろん、人間の複雑な記憶メカニズムと比較すると、まだ非常に初期段階にあります。

タン・ミンジョウ氏は、論文に述べられているように、新しい方法のパラダイムがAI研究の範囲を広げたと強調した。これは、人間の脳科学の研究と、神経科学、心理学、行動経済学などの多分野にわたる学際的研究の試みを含む興味深いテーマです。まだ道のりは長く、よりオープンな探究が必要です。

さらに読む

現在、AIシステムには長期記憶がない。

機能的な観点から見ると、人間の脳はレジスター、短期記憶、長期記憶、中央制御モジュールなど、いくつかのモジュールに分けられます。人間の脳は、視覚や触覚など5つのセンサーを通じて外部から情報を受け取り、それをレジスターに保存します。この情報に集中すると、脳はそれを短期記憶に変換できます。短期記憶は約30秒持続します。意識的にこの情報を覚えておきたい場合、脳は短期記憶の内容を長期記憶に転送します。

長期記憶の内容には情報と知識の両方が含まれます。簡単に言えば、情報は世界の事実を表し、知識は人々の世界に対する理解を表します。両者の間には必ずしも明確な境界があるわけではありません。人間が情報や知識を長期記憶に保存すると、新しい内容が既存の内容と結びつき、規模が拡大していきます。これが長期記憶の特徴です。長期記憶は実際には大脳皮質に存在し、記憶とは脳細胞間の接続を変更し、新しいリンクを構築し、新しいネットワーク パターンを形成することを意味します。

現在の人工知能システムには長期記憶がないと考えられます。 AlphaGoにしても自動運転車にしても、すでに学習したモデルや手動で定義したモデルを再利用しており、継続的に情報や知識を獲得し、システムに新しい情報や知識を追加する仕組みがありません。

一部の学者は、長期記憶を持つことで人工知能システムがより高い段階に進化できると考えています。このようなインテリジェントシステムは5〜10年で構築可能です。このシステムには、短期記憶と長期記憶を含む言語処理モジュールがあります。システムは独自にデータを継続的に読み取り、データ内の知識を圧縮して長期記憶モジュールに格納することができます。私たちの現在のビジョンは、長期記憶を備えたインテリジェントな質問応答システムを構築することです。