生涯にわたる機械学習: 持続可能な学習のパラダイム

[[207884]]

序文：

最近、アンサンブル学習における持続可能性に関する研究に関する非常に興味深い論文を見つけました。皆さんの理解と研究のために、ここに翻訳しました。

Bing Liu: シカゴ大学のコンピューターサイエンス教授。彼の研究には、感情分析と意見マイニング、生涯機械学習、データマイニング、機械学習、自然言語処理が含まれます。彼は現在、ACM SIGKDD の議長を務めており、ACM フェロー、AAAI フェロー、IEEE フェローでもあります。

テキストは次のとおりです。

導入：

機械学習 (ML) はデータ分析に役立ち、人工知能 (AI) は広告に役立ちます。最近、ディープラーニングの成功により、ディープラーニングは新たなレベルに到達しました。 ML アルゴリズムは、産業、科学、エンジニアリングのほぼすべてのアプリケーションで効果的に使用されています。

ML の現在の主流のパラダイムは、特定のデータセットに対して ML アルゴリズムを実行してモデルを生成することです。その後、モデルは実際のタスクに適用されます。このパラダイムは、他の関連情報や過去の知識を考慮しないため、孤立学習と呼ばれます。この種の孤立した学習の根本的な問題は、記憶が関与していないことです。過去の知識を保持せず、将来の学習に役立てません。したがって、効果的な学習には大量のトレーニングサンプルが必要です。教師あり学習では、トレーニングデータのラベル付けは通常手動で行われるため、非常に手間がかかり、時間がかかります。世の中には考えられるタスクが非常に多いため、ML アルゴリズムが学習できるように各タスクの多数の例にラベルを付けるというのはほぼ不可能です。さらに悪いことに、すべてが絶えず変化しているため、ラベル付けを継続的に行う必要があり、これは困難な作業です。現在の孤立した学習モデルは、真にインテリジェントなシステムを構築するには適していない可能性があり、非常に狭い領域の問題を解決するのにのみ適しています。

私たち人間は、いろいろなことを学んでいるようです。私たちは孤立して学ぶことは決してありません。代わりに、私たちは過去に学んだ知識を常に保持して蓄積し、将来の学習にシームレスに活用します。時間が経つにつれて、私たちはより多くを学び、より知識を身につけ、より効果的に学ぶようになります。生涯学習とも呼ばれる生涯機械学習 (LML) は、人間の学習プロセスと能力を模倣することを目的としています。私たちの周りのすべてのものは密接に関連し、相互につながっているため、このタイプの学習は自然なことです。過去の概念とそれらの間の関係は、さまざまな分野やタスク間で多くのことが共有されているため、新しいトピックをよりよく理解するのに役立ちます。たとえば、映画についての肯定的なレビューと否定的なレビューを識別するために、ML アルゴリズムが正確な分類を構築するために必要な 1,000 件の肯定的なレビューと 1,000 件の否定的なレビューを人間は必要としません。実際、このタスクでは、個別のトレーニングレビューなしで分類タスクを実行できます。なぜこんなことが起こるのでしょうか? 理由は簡単です。これは、たとえその賞賛や批判がオンラインレビューの形であっても、人々が物事をどのように賞賛し、批判するかについて、私たちが過去に多くの知識を蓄積してきたためです。実際、過去の知識がなければ、人間が 2,000 年間の肯定的および否定的なトレーニング評価に基づいて適切な分類器を手動で構築することはおそらく困難でしょう。

生涯機械学習の定義:

定義: 生涯機械学習 (LML) は、学習者が N 個の学習タスク (T1、T2、…TN) を完了する継続的な学習プロセスです。学習者は、(N+1) タスク TN+1 とそのデータ DN+1 に直面した場合、知識ベース (KB) (メモリ) 内の事前知識を使用して TN+1 を学習できます。知識ベースは、N 個のタスクを学習する際に過去に学習して蓄積された知識を保存し、維持します。 TN+1 を学習した後、知識ベースは TN+1 から学習された (中間および最終) 結果で更新されます。

Chenらによるこの定義[1]は、LMLの主な特徴は1)継続的な学習、2)知識ベース(KB)への知識の蓄積、3)将来の学習を支援するためにKB内の知識を活用することであると示唆しています。これらの特徴は転移学習[2]やマルチタスク学習[3]などの他の関連する学習タスクと区別されます。

転移学習 (TL) : ソースドメインを使用して、ターゲットドメインの学習を支援します。ソースドメイン S には大量のラベル付きトレーニングデータがあり、ターゲットドメイン T にはラベル付きトレーニングデータがほとんどないかまったくなく、大量のラベルなしデータがあると想定します。 TL はラベル付きデータを活用して、ターゲットドメインでの学習を支援します。 TL はいくつかの理由で LML と異なります。まず、TL は連続的ではありません。ターゲットドメインの学習を支援するためにソースドメインのみを使用します。第二に、TL は学習した知識を蓄積しません。 3 番目に、TL は一方向であり、ソースを使用してターゲットを支援します。 LML はどの方向でも実行できます。 4 番目に、TL はソースとターゲットが非常に類似していると想定します。この類似性は人間のユーザーによって決定されます。 LML はそれほど強い仮定を立てません。通常、人間のユーザーはタスクの類似性の判断には関与しません。

マルチタスク学習 (MTL) : 複数の類似した学習タスクの共同最適化を実行し、互いの知識を共有して全体的に優れた結果を達成することが目標です。ただし、MTL は依然として従来のパラダイム内で機能します。単一のタスクを最適化するプロセスで、複数のタスクが最適化されます。複数のタスクを 1 つの大きなタスクとして見ると、従来の最適化に帰着します。これは、MTL のほとんどの最適化定式化に当てはまります。時間の経過とともに知識が蓄積されることはなく、LML の重要な特徴である継続的な学習の概念もありません。 MTL は新しいタスクが追加されるたびにすべてのタスクを共同で最適化できると主張することもできますが、タスクは非常に異なり、数も非常に多いため、単一のプロセスですべてのタスクを同時に最適化することは非常に困難です。

機械学習の生涯の歴史:

LMLの概念は1995年にThrunとMitchellによって提案されました[4]。それ以来、主に4つの方向から研究されてきました。

生涯にわたる教師あり学習、Thrun[5]は生涯にわたる概念学習から始まり、過去または新しいタスクのそれぞれがクラスまたは概念です。メモリベースの学習とニューラルネットワーク設定の両方で、いくつかの LML 手法が提案されています。文献[6]ではニューラルネットワーク法が改良されている。 Feiら[7]は、この形式のLMLを累積学習に拡張し、新しいクラスに遭遇したときに、過去のクラスと新しいクラスをすべて分類できる新しいマルチクラス分類器を構築しました。テストでは検出されないクラスも検出します。これにより、見えないクラスを検出して新しいことを学習できるため、自己学習が可能になります。 RuvoloとEaton[8]は、マルチタスク学習法を改善するための効果的なLMLアルゴリズム（ELLA）を提案した。 Chenら[1]は、ナイーブベイズ分類の文脈でLML手法を提案した。 LMLに関する理論的研究はペンティナとペンティナ[9]によって行われた。

チェンとリュー[10]は、生涯にわたる教師なし学習のための生涯学習モデルを初めて提案した。その後、彼らは他のいくつかのモデルも報告しました。提案された技術は、過去の多くのタスクから知識を学習し、この知識を使用して新しいタスクでより一貫性のあるトピックを生成するのに役立ちます。 Liuら[11]はLML法を用いて情報を抽出する手法を提案し、Liu[12]は2種類の表現を分離するための生涯グラフ表記法を提案した。

この分野における生涯にわたる半教師あり学習に関する研究は、Never Ending Language Learner（NELL）システム[13]に代表されます。 NELL は 2010 年 1 月から継続的に Web を読み取って情報を抽出しており、すでに何百万ものエンティティと関係を保有しています。

生涯強化学習ThrunとMitchell[4]は、ロボット学習のための生涯強化学習（LRL）を初めて研究しました。田中・山村[14]は、各環境をタスクとして扱う「LRL」アプローチを提案した。 Bou Ammarら[15]は、ポリシー勾配効率の良いLRLアルゴリズムを提案した。

要約:

LML は 20 年以上前から存在していますが、これまであまり研究が行われていません。理由の 1 つは、過去 20 年間の ML 研究が統計的およびアルゴリズム的アプローチに重点を置いてきたことにあると考えられます。 LML には通常、システムアプローチが必要です。しかし、統計的機械学習が成熟し、研究者がその限界を認識するにつれて、LML はますます重要になるでしょう。確かに、学習した知識を蓄積し、過去の知識を活用して新しいタスクを学習する LML の機能がなければ、真にインテリジェントなシステムを構築することはできません。私たちは非常に狭い範囲の問題しか解決できません。

参考文献:

Chen ZY、Ma NZ、Liu B. 感情分類のための生涯学習。ACL カンファレンスの議事録。2015 年
Pan SJ、Yang Q. 転移学習に関する調査。IEEE Transaction on Knowledge and Data Engineering、2010、22(10): 1345–1359
カルアナ R. マルチタスク学習。機械学習、1997、28(1)
Thrun S、Mitchell T M. 生涯にわたるロボット学習。Steels L 編『インテリジェント自律エージェントの生物学と技術』ベルリン: Springer、1995 年、165–196 ページ
スラン S. n 番目のことを学ぶことは最初のことを学ぶことよりも簡単ですか? 神経情報処理システムの進歩、1996: 640–646
Silver DL、Mercer R E. 生涯学習の課題リハーサル法：貧弱なデータの克服。カナダ計算知能学会第 15 回人工知能の進歩に関する会議議事録。2002 年、90 ～ 101 ページ
Fei GL、Wang S、Liu B. 知識を増やすための累積学習。第 22 回 ACM SIGKDD 国際知識発見およびデータマイニング会議の議事録。2016 年、1565 ～ 1574 ページ
Ruvolo P、Eaton E. ELLA: 効率的な生涯学習アルゴリズム。国際機械学習会議の議事録。2013、507–515
Pentina A、Lampert C H. 生涯学習のための PAC ベイジアン境界。国際機械学習会議の議事録。2014 年、991–999
Chen ZY、Liu B. 多くのドメイン、生涯学習、ビッグデータからのトピックを使用したトピックモデリング。国際機械学習会議の議事録。2014
Liu Q、Liu B、Zhang YL、Kim DS、Gao Z Q。意味的類似性とアスペクトの関連付けを使用した意見アスペクト抽出の改善。第 30 回 AAAI 人工知能会議の議事録。2016 年
Shu L、Liu B、Xu H、Kim A。生涯グラフラベルを使用した意見ターゲットのエンティティと側面の分離。In：自然言語処理における経験的手法に関する会議の議事録、2016年
Mitchell T、Cohen W、Hruschka E、Talukdar P、Betteridge J、Carlson A、Dalvi B、Gardner M、Kisiel B、Krishnamurthy J、Lao N、Mazaitis K、Mohamed T、Nakashole N、Platanios E、Ritter A、Samadi M、Settles B、Wang R、Wijaya D、Gupta A、Chen X、Saparov A、Greaves M、Welling J。終わりのない学習。第 29 回 AAAI 人工知能会議の議事録。2015 年、2302 ～ 2310 ページ
田中文雄、山村正之。複数の環境を通じた生涯強化学習へのアプローチ。第 6 回ヨーロッパ学習ロボットワークショップの議事録。1997 年、93–99 ページ
Bou Ammar H、Eaton E、Ruvolo P、Taylor M. ポリシー勾配法のためのオンラインマルチタスク学習。第 31 回国際機械学習会議の議事録。2014 年、1206 ～ 1214 ページ