この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載しています。転載の際は出典元にご連絡ください。

テキスト生成モデルは他に何に使用できますか?

好奇心旺盛なネットユーザーがOpenAIのGPT-2を使った実験を行った。

GPT-2 はテキストを生成するだけでなく、チェスをしたり音楽を作ったりすることもできることがわかりました。

△GPT-2にチェスを教える

著者は次のように述べています。

GPT-2 は、次の動きを予測するように指示するだけで、チェスをプレイするようにトレーニングできることが判明しました。

これは数日かかった小さなプロジェクトでしたが、結果は非常に満足のいくものでした。

さらに、以前の実験では、研究者らはGPT-2が音楽を作曲できることも発見した。

これもまたネットユーザーの間で白熱した議論を巻き起こした。

これはまったくすごいことですが、ゲームがそれほど上手ではない人間と競争することはまだ可能です。

GPT-2 はテキスト AI にすぎないにもかかわらず、チェスの遊び方を学びました。チェス表記のテキストのコーパスから学習することができました。

そして、「チェス盤」という概念については全く理解していません。

しかし、一部のネットユーザーはこれに疑問を呈している。

最初は協力的だった気がしますが、11ステップ目以降は無効な「動き」を出力し始めました。

全体的に見て、テクノロジーはかなり貧弱に見えるので、チェスについてどのような理解を持っているのかはわかりません。

しかし、テキスト予測モデルとしては、このようなゲームでインテリジェントな動きができるというのはやはり印象的です。

それで、GPT-2 はどうやってチェスをプレイし、音楽を作るのでしょうか?

チェスをしたり音楽を作ったりして、GPT-2は国境を越えたプレイヤーになる

GPT-2 を使用してチェスをプレイすることは、おそらく当初は単なる娯楽プロジェクトでした。著者の Shawn Presser 氏は、わずか 1 週間でデモを完成させました。

このような大胆な試みをした理由は、彼の太った友人のグウェルン・ブランウェンが GPT-2 に詩の書き方を教えただけでなく、

湖は美しく、森は明るい。
多くの花で飾られた華やかな装飾。
岸辺は美しく、洪水は穏やかだ
私たちの舌は黄金の笑いを発する。 （舌の黄金の笑いとともに。）

GPT-2 にはアイルランドの民謡を書くことも依頼されました。

音楽_2.mp3

00:50.058

一見すると、このオープニングはステファニー・サンの「Meeting」に少し似ているようにも聞こえます。

実際、ブランウェンは、音楽をアルファベットのテキスト形式で提示する Session と ABCnotation.com の 20 万曲以上の楽曲を使用して GPT-2 モデルをトレーニングしました。

では、このテキスト生成モデルがチェスの遊び方を学習できるように、e2e4（チェスの駒を位置e2から位置e4に移動する）などのチェスの命令セットを使用してGPT-2をトレーニングすることはできるでしょうか？

答えは「はい」です。

プライス氏は、わずか1時間のトレーニングで、GPT-2 1.5Bモデルがチェスをプレイする「才能」を示したことを発見した。

数手後に無効な動きが発生しましたが、この実験により、GPT-2 チェス エンジンを作成することは不可能ではないことが証明されました。

△ステップ9の無効な動き

そこでプライス氏は、240万のデータを使ってGPT-2 15億モデルを丸一日かけてトレーニングしたところ、モデルは改善され、14番目のステップまでバグは発生しませんでした。

その後、プライス氏は「すべての有効な動きの確率を計算するコードをいくつか書いた」（著者は詳細を説明していない）ため、GPT-2はゲームを終盤まで進めることができた。

Price 氏は自身のコードを Colab にデプロイしました。GPT-2 を試してみたい場合は、自分で挑戦してみてください。

驚異の言語AI、GPT-2

昨年 2 月、OpenAI は GPT-2 と呼ばれる驚異的な言語 AIをリリースしました。

モデル全体に​​は15 億個のパラメータが含まれています。

この AI は非常に簡単に記事を執筆でき、特別なトレーニングなしでさまざまな特定分野の言語モデリングタスクを処理できます。また、読解、質疑応答、記事の要約の生成、翻訳などの機能も備えています。

しかし、当時のフェイクニュースは非常に現実的だったため、OpenAIは「完全なモデルを公開することはできない」と述べた。

人間は、2 つの文の冒頭部分だけを与えました。

科学者たちは衝撃的な発見をした。アンデス山脈の人里離れた未踏の谷にユニコーンの群れが生息しているのだ。さらに驚くべきことは、これらのユニコーンが完璧な英語を話すことです。

AIはこのナンセンスな設定を踏襲し、真剣に物語を作り続けました。

これらの生き物は独特の角を持っているため、科学者はこれを「オウィディウスのユニコーン」と名付けました。 4本の角を持つ銀白色の生物は、これまで科学界では知られていなかった。

これらの生き物の起源は不明ですが、人類文明が存在する以前に、人間とユニコーンの交わりから生まれたと信じる人もいます。 「この現象は南米では非常に一般的です」とペレス教授は語った。

GPT-2 は、驚くべき結果に加えて、さまざまなドメイン固有のデータセットでの言語モデリング テストで優れたスコアを達成しました。

完全にオープンソース化すべきだというネットユーザーの声がますます強くなり、その後の期間、GPT-2は「歯磨き粉を絞り出すようなオープンソース化」のプロセスを経験しました。

最初に発売されたのは 124M モデルで、次に 355M、そして 774M でした。

9か月にわたる断続的なリリースの後、OpenAIはついに15億のパラメータを持つ完全なモデルをリリースしました。

実際のテスト結果はどうですか?

OpenAIはブログで、GPT-2によって生成された結果は独立した客観的な第三者によって検証されており、説得力があると述べた。

チームのパートナーであるコーネル大学は、人間を対象にアンケート調査を実施し、GPT-2 が出力したテキストに信頼性スコアを与えました。さまざまな規模のモデルが参加しました。

15 億のパラメータ モデルに与えられた信頼性スコアは、10 点満点中 6.91 です。これは、7億7,400万パラメータのモデル（6.72ポイント）や3億5,500万パラメータのモデル（6.07ポイント）よりも高い値です。

つまり、人間の目から見ると、15億のパラメータを持つモデルは、これまで公開されたモデルよりも現実的な記事を生成できるということです。

言語モデルが国境を越えた議論を巻き起こす

物語を語るのが得意なこのNLPモデルは、今では音楽を作曲したりチェスをしたりすることもできる。これはネットユーザーの間で白熱した議論を巻き起こし、マーカス氏も興味を引いた。

英国の作家トム・チヴァースは、これが AGI (人工汎用知能) に向けた新たなアイデアのきっかけになるかもしれないと考えている。

一部のネットユーザーは、これはチェスの遊び方を「学ぶ」ことではなく、特定の最初の動きとそれに対応するその後の動きを統計的に結び付けているだけだと疑問を呈した。 GPT-2 は、既知のパターンに適合する結果を単純に提供します。

スタンフォード大学のコンピューターサイエンスの博士は、非常に古い言語モデリング手法を使用しても同じ結果が得られると率直に述べました。 GPT-2 が「チェスの遊び方を学んだ」と言うのは誤解を招きます。

それで、どう思いますか？

著者について

[[312352]]

△ショーン・プレッサー

Shawn Presser は、C++ ゲーム エンジン プログラミングの豊富な経験を持ち、グラフィックス プログラマーおよびツール開発者です。

2010年から2011年にかけてS2 Gamesに勤務し、Heroes of Newerthゲームプロジェクトに参加しました。

2005 年から 2008 年まで、Simutronics に勤務し、主に C++ ベースのプロジェクト開発に従事しました。

ポータル

レディット:
https://www.reddit.com/r/MachineLearning/comments/elf66h/p_using_gpt2_to_play_chess/

ブログ:
https://slatestarcodex.com/2020/01/06/a-very-unlikely-chess-game/

著者情報:
https://www.linkedin.com/in/shawnpresser/

デモ：
https://colab.research.google.com/drive/12hlppt1f2N0L9Orp8YCLgon6EF5V3vuR#scrollTo=8gxTLCKBQ3-F&forceEdit=true&sandboxMode=true