人工知能は人間と同じくらい創造的になれるのでしょうか?

創造性は、芸術、文学、科学、技術など、斬新で価値があり、意義のある作品を生み出すことを可能にする人間特有の能力です。創造性は人類社会の重要な原動力でもあり、文化、経済、教育などの分野の発展と進歩を促進します。創造性とはいったい何でしょうか?それはどうやって起こったのですか?どのように評価され、改善されるのでしょうか?これらの疑問は、心理学者、認知科学者、哲学者など、さまざまな分野の研究者を悩ませてきました。人工知能（AI）技術の急速な発展に伴い、これらの問題はAI分野でも注目を集めています。 AIは人間と同じくらい創造的になれるのか？もしそうなら、AI の創造性をどのように定義し、測定し、育成できるのでしょうか?これらの問題は理論的な意義だけでなく、AI の創造性がさまざまな分野における AI の応用と発展に影響を与えるため、実用的な価値も持っています。

1月3日、テクノロジー学術フォーラムarxiv.orgは、米国、英国、シンガポールなど多くの著名なAI研究者が共同執筆した最新の論文「AIは人間と同じくらい創造的になれるか？」を発表しました。この論文は、AIの創造性を徹底的に探求したもので、創造性を評価するための新しいパラダイム、すなわち相対的創造性を提案し、定量化可能な創造性の枠組み、すなわち統計的創造性を確立しています。この論文では、理論的な議論を進めるだけでなく、AI の創造的可能性を評価し、強化するための実用的なツールと方法も提供しています。この論文の主な貢献と革新は次のとおりです。

相対的創造性の概念が提案されています。これは、AI システムの創造性の評価を絶対的な基準から特定の人間のクリエイターとの比較に変換し、創造プロセスに内在する主観性を認識し、それをチューリング テストなどの知能を評価する比較方法と巧みに統合します。

理論的構築と実証的評価を組み合わせた統計的創造性の概念を導入し、AIが特定の人間集団の創造的成果を模倣できるかどうかに焦点を当てることで、AI創造性の定量的評価が可能になり、理論的枠組みの実用性が向上します。

大規模言語モデル（LLM）の基本技術である自己回帰モデルに統計的創造性を適用すると、ある程度の創造力が得られると考えられています。私たちは、特に次のトークンの予測に関して、これらのモデルにおける統計的創造性を評価するための実用的な指標を開発します。この指標の適応性により、現代の AI モデルに適用することができ、技術の進歩に対応できる可能性が示されています。

統計的創造性損失は、創造的な AI モデルをトレーニングするための最適化可能な目的関数として導入されています。統計的創造性損失の上限と、ラーデマッハ複雑度、相互情報量、ε被覆数などの深層学習における一般化に関連する概念との関係を分析します。 AI モデルの創造力を育成するための理論的なガイダンスと実践的な対策を提供します。

01 相対的創造性の概念と定義

創造性は、主観的、状況的、多次元的、動的な要素が関係するため、定義し測定するのが難しい能力です。創造性とは何か、創造的な仕事を構成するものは何なのかについては、さまざまな見解や基準があるかもしれません。したがって、創造性の絶対的な定義を与えたり、AI システムに絶対的な創造性の評価を与えたりすることは非現実的かつ不公平です。著者らは、創造性の評価は絶対的なものではなく相対的なものであるべきだ、つまり、AI システムの創造性は、さまざまな人間のクリエイターのレベルと特性に基づいて比較されるべきだと考えています。このように、創造性の評価は、静的で固定された単一の基準ではなく、創造性の本質と多様性をよりよく反映できる動的で柔軟かつ多様なプロセスになります。

著者は相対的創造性という概念を提唱しており、これは次のように定義されています。AI システムは、ある人間のクリエイターの経歴情報に基づいて、そのクリエイターの作品と区別がつかない作品を生成できる場合、相対的に創造的であるとみなされます。この場合、AI システムはそのクリエイターと同じくらい創造的であるとみなすことができます。相対的な創造性は、比較される個人間の違いに依存するという点で「相対的」です。たとえば、AI システムは、非専門家の人間のクリエイターと比較すると非常に創造的であるように見えるかもしれませんが、専門家のデザイナーやアーティストと比較すると創造性が低いように見えるかもしれません。相対的創造性は、独創性、発散的思考、問題解決能力など、創造性の主観的な性質も認識しており、これらはすべて人間の創造者を固定する選択プロセスに組み込まれています。創造性の評価は人間の視点に基づいているため、相対的創造性の概念は、AI システムが人間と区別がつかない会話を行えるかどうかを判断して AI の知能を評価する比較方法であるチューリング テストにも影響を受けています。

写真

図 1: 相対的創造性 (a) と統計的創造性 (b) の図解。 (a): 相対的な創造性の評価 AI が芸術を創造する能力は、同じ伝記的影響を受けた仮想の人間の芸術と区別がつきません。 (b): 統計的創造性は、分布距離メトリックによって決定される、既存の人間のクリエイターと区別がつかない創作物を生成する AI の能力によって測定されます。

相対的創造性はチューリングテストといくつかの類似点がありますが、いくつかの違いもあります。類似点は、どちらも人間の視点に基づいており、AI システムのパフォーマンスを人間のパフォーマンスと比較することで AI システムの能力を評価することです。違いは、チューリング テストの目的は AI システムの知能を評価することであり、相対的創造性の目的は AI システムの創造性を評価することであるという点です。知性と創造性は、重なり合う部分もあれば、異なる部分もある、2 つの異なる次元です。たとえば、AI システムはスマートでも必ずしも創造的ではない可能性があり、その逆もまた同様です。もう 1 つの違いは、チューリング テストは会話に基づいているのに対し、相対的創造性テストは生産に基づいていることです。対話はインタラクティブで動的なリアルタイムのプロセスですが、作業は静的で固定された遅延結果です。したがって、相対的な創造性の評価は、作品のスタイル、内容、品質、独創性など、より多くの要素を考慮する必要があるため、より困難になる可能性があります。著者らは、相対的創造性は、AIシステムのパフォーマンスだけでなく、人間の創造者の背景や特性も考慮に入れた、創造性を評価するためのより包括的かつ詳細なアプローチであると主張している。

02 統計的創造性の概念と定義

相対的創造性の概念は刺激的ですが、まだ運用上の評価方法が欠けています。この欠点を補うために、著者らは統計的創造性の概念を導入しました。これは次のように定義されます。AI システムは、人間のクリエイターのグループを与えられた場合に、そのグループの創造的な出力と区別がつかない出力を生成できる場合、統計的に創造的であると見なされ、その AI システムはグループと同じくらい創造的であると見なされます。統計的創造性の「統計的」性質は、抽象的な基準ではなく、観察可能なデータに基づいて AI システムの創造性を評価するという事実にあります。

写真

著者らは、AI モデルの創造力と人間のクリエイターのグループの区別がつかない程度を推定する経験的指標である統計的創造性指標 E0(q) を提案しています。 E0(q)の値が低いほど、AIモデルはグループの創造力を模倣できるようになります。著者らはまた、統計的創造性の定理を示し、AI モデルが δ 創造性を持つと分類できる条件、つまり E0(q) < δ を明らかにし、評価に十分なサンプル セットがあることを明らかにしています。この定理は創造性の分類方法を提供するだけでなく、AI モデルと人間のクリエイター グループ間の創造力の差を表す創造性の度合い、つまり δ も提供します。著者らは、統計的創造性は創造性を評価するためのより洗練された柔軟な方法であると考えています。AIモデルが人間のクリエイターを完全に再現することを要求するものではなく、AIモデルが評価者の観点から判断されるある程度の類似性を達成できることを強調しています。評価者が人間である場合、創造性に関する成功した AI モデルは、人間の評価者の観点から小説の作者を巧みに模倣できる必要があります。

03 自己回帰モデルの統計的創造性の測定と応用

自己回帰モデルは、前のテキストの確率分布に基づいて次のトークンを予測することにより、一貫性のあるテキスト シーケンスを生成する一般的な大規模言語モデル (LLM) 手法です。自己回帰モデルは、詩、物語、コードなどの新しいテキストを生成できるため、ある程度の創造力を持っていると考えられています。しかし、自己回帰モデルの創造性をどのように評価し、改善するかは未解決の問題のままです。我々は統計的創造性の概念を自己回帰モデルに適用し、次のトークン予測のための統計的創造性の尺度、すなわちE1(q)を提案する。これは、自己回帰モデルの創造力と人間のクリエイターのグループの区別がつかないことを推定する経験的尺度である。 E1(q)の値が低いほど、自己回帰モデルはグループの創造能力をよりよく模倣できます。

写真

著者らはまた、自己回帰モデルの統計的創造性に関する定理を示し、自己回帰モデルがδ創造性を持つと分類できる条件、すなわちE1(q) < δであり、評価に十分な大きさのサンプルセットがあることを明らかにしている。この定理は創造性の分類方法を提供するだけでなく、自己回帰モデルと人間の創造的グループ間の創造能力の差を表す創造性の度合い、つまり δ も提供します。著者らの主張は単純である。自己回帰モデルが人間の芸術家集団の作品に似たシーケンス（詩や物語など）を生成できる場合、そのモデルはその集団に匹敵するレベルの創造性を示したことになる。この評価を定量化するために、著者らは指標E1(q)を導入した。

次のトークン予測は自己回帰モデルの中核技術であり、モデルによって生成されるテキスト シーケンスの品質と多様性を決定します。次のトークンの予測の難しさは、与えられたコンテキストとターゲット トークンの可能性によって異なります。コンテキストが明確で具体的な場合は、より合理的で一般的なトークンがいくつかあるため、次のトークンの予測が容易になります。たとえば、コンテキストが「私は食べるのが好きです」である場合、次のトークンは「リンゴ」、「パン」、「餃子」などになります。ただし、コンテキストが曖昧で抽象的な場合は、多くのトークンが考えられ、どれも明確な利点がないため、次のトークンを予測することは困難です。たとえば、コンテキストが「欲しい」である場合、次のトークンは「旅行」、「勉強」、「睡眠」などになります。この場合、意味のある興味深いテキストシーケンスを生成するには、自己回帰モデルをより創造的にする必要があります。

次のトークン予測の重要性は、それが自己回帰モデルの創造性のレベルと、人間のクリエイターの創造性との類似性を反映していることです。自己回帰モデルが、さまざまなコンテキスト下で人間のクリエイターの作品と区別がつかない次のトークンを生成できる場合、それは人間のクリエイターと同等の創造性を示します。この創造性の評価は、E1(q) などの統計的創造性尺度を使用して行うことができます。著者は、この評価方法は人間の主観的な判断に頼るのではなく、データと確率計算に基づいた、より客観的で科学的な方法であると考えています。著者の研究は、自己回帰モデルの創造性に新たな視点と方法を提供し、モデルの生成能力と品質の向上に役立ちます。

04 ヒントに基づく大規模言語モデルの統計的創造性の測定と適用

プロンプト条件付き大規模言語モデル (LLM) は、プロンプトを活用してモデルの潜在的な機能を解き放つことができる最先端のモデル パラダイムです。ヒントは、モデルに入力形式と出力形式を提供する方法であり、テキスト分類、テキスト生成、テキスト要約などのさまざまなタスクを完了するようにモデルをガイドするために使用できます。ヒントは人間のインスピレーションと同様に機能し、モデルの創造性と柔軟性を刺激します。しかし、プロンプトベースの LLM の創造性をどのように評価し、改善するかは未解決の問題のままです。我々は、統計的創造性の概念をプロンプトベースの LLM に適用し、さまざまなコンテキストプロンプトに対する統計的創造性の尺度、つまり E2(q) を提案します。これは、プロンプトベースの LLM と人間のクリエイターのグループの創造能力の区別がつかないことを推定する経験的尺度です。 E2(q)の値が低いほど、プロンプトベースのLLMはグループの創造力を模倣することができます。著者らはまた、プロンプトベースの LLM の統計的創造性に対する帰結を示し、プロンプトベースの LLM を δ 創造的と分類できる条件、すなわち E2(q) < δ であり、評価に十分なサンプル セットがあることを明らかにしています。この推論は、創造性の分類方法を提供するだけでなく、プロンプトベースの LLM と人間のクリエイター グループ間の創造力の差を表す創造性の度合い、つまり δ も提供します。著者らの主張はシンプルです。プロンプトベースの LLM が、異なるコンテキストプロンプトに応じて人間のクリエイターのグループが作成した作品と区別がつかない作品を生成できる場合、そのグループに匹敵するレベルの創造性を示したことになります。この評価を定量化するために、著者らは指標E2(q)を導入した。

05 統計的創造性損失の定義と最適化手法

統計的創造性損失は、創造性を備えた AI モデルをトレーニングするための最適化可能な目的関数です。これは、E0(q)、E1(q)、E2(q) などの統計的創造性の尺度に基づいて定義されます。統計的な創造性損失の値が低いほど、AI モデルは人間のクリエイターのグループの創造力を模倣できるようになります。著者らは、統計的創造性損失の上限、式(2)、および深層学習における一般化に関するラデマッハ複雑度、相互情報量、ε被覆数などの関連概念を提案している。統計的創造性損失の上限が、次のトークン予測の対数尤度と、統計的創造性を達成するために必要なクリエイター作業データの量とどのように関係しているかを分析します。私たちの調査結果は、単に大量の創作データを持つこと以上に、創作者と作品のペアにおける多様性の重要性を浮き彫りにしています。この洞察により、統計的創造性の概念は、次のトークン予測に基づく現在の AI フレームワーク内で特に適用可能になります。著者の研究は理論的な視点を提供するだけでなく、AI の創造性に関する議論を導き、相対評価の使用を提唱して実証研究を促進し、AI モデルの創造力を評価および改善するためのフレームワークを確立します。

06 関連作品

最後に著者は、主に視覚と言語の分野における創造性の定義と応用に関するこれまでの研究をレビューします。著者らは、創造性の要素を生成モデルに適用しようとした研究は数多くあるが、創造性を直接定義したり、直接最適化した研究はないと指摘している。むしろ、私たちの研究は、創造性の理論的基礎、つまり、生成の多様性と質に関するこれまでの洞察を自然に組み込んだ枠組みを開発することを目指しています。著者らは、自分たちの貢献が将来の研究の基礎を築き、モデルの創造性の向上につながることを期待しています。

視覚の分野では、創造的な画像生成モデルが目覚ましい進歩を遂げており、機械が創造的な芸術を生み出せるかどうかという疑問が生じています。 Hertzmann (2018) は、この問題を詳細に調査し、コンピュータ グラフィックスと芸術的革新の交差点に焦点を当てています。 Xu et al. (2012a) は、ユーザーの好みに基づいて多様なモデルを生成できる創造的な 3D モデリング手法を提案しました。 Elgammal ら (2017) は、生成的敵対ネットワーク (GAN) (Goodfellow ら、2014) を使用して、既知のスタイルからの逸脱を最大化することで、独自の芸術的スタイルの創造を促進しました。 Sbai et al. (2018) は、モデルにトレーニング セットとは異なるスタイルを持たせることで、このバイアスをさらに増大させました。創造的な生成は組み合わせのプロセスとして見ることもでき、Ge et al. (2021) と Ranaweera (2016) は詳細な要素を統合することの重要性を強調しています。 Vinker et al. (2023) はこれを基に、パーソナライゼーションの概念を視覚的な要素に分解して革新的な再編成を行い、創造的な成果を豊かにしました。

言語の分野では、言語モデルの開発により、研究者はデータの使用を最適化して、さまざまな分野、タスク、言語でのモデルの適応性を向上させる方法を模索するようになりました (Gururangan et al.、2020; Devlin et al.、2019; Conneau et al.、2020)。研究者たちは、人間のコミュニケーションのニュアンスを解読するために言語モデルを使用する傾向も示しています (Schwartz et al., 2013; Wu et al., 2022)。この洞察は分類モデルの改善にも利用されています (Hovy、2015 年、Flek、2020 年)。生成モデルの人気が高まるにつれ、制御可能なテキスト生成にも関心が集まっています。つまり、モデルの出力は、丁寧さ (Saha et al., 2022; Sennrich et al., 2016)、感情 (Liu et al., 2021; Dathathri et al., 2019; He et al., 2020)、その他のスタイル制約などのいくつかの制約を満たす必要があります。最後に、入力テキストのスタイルを設定されたターゲット スタイルに変換するテキスト スタイル転送 (TST) も一般的なタスクになりました。スタイルとは、丁寧さ（Madaan et al., 2020）、形式（Rao and Tetreault, 2018; Briakou et al., 2021）、簡潔さ（Zhu et al., 2010; van den Bercken et al., 2019; Weng et al., 2019; Cao et al., 2020）、著者（Xu et al., 2012b; Carlson et al., 2018）、著者の性別（Prabhumoye et al., 2018）など、テキストや著者に固有のさまざまな特性を指します（Jin et al., 2022）。これらのアプリケーションはすべて、生成モデルに創造性の要素を適用しようとしていますが、創造性を直接定義したり、直接最適化したりするものはありません。代わりに、創造性の代理として、事前定義されたタスクにおけるモデルのパフォーマンスを向上させることに重点を置いています。対照的に、著者らの研究は創造性の理論的基礎を確立することを目的としている。このフレームワークには、世代の多様性と品質に関するこれまでの洞察が自然に組み込まれています。著者らは、自分たちの貢献が将来の研究の基礎を築き、モデルの創造性の向上につながることを期待しています。

参照: https://arxiv.org/abs/2401.01623