Google、少量のサンプル学習と会話で記事を書き換えられるAIライティングアシスタントをリリース

[[412579]]

2016 年には、財務報告書に基づいてプレスリリースを書くという、人間と機械によるライティング コンテストがありました。

対戦相手は、自然言語生成会社Automated Insightsが開発したロボット「WordSmith」と、アメリカの公共放送の記者スコット・ホースリー氏だ。

コンテストの最終結果は、ロボットが人間の2倍以上の速さで書いたというものでした。

もちろん、2つのプレスリリースを比較すると、スコットが書いたものの方がより鮮明で、詳細かつ感情的です。

原稿に基づく翻訳

数年前から、訓練された人工知能が人々のニーズに合わせてさまざまな記事を生成できるようになったことがわかります。

今では、1日に数千語のオンライン記事を作成することも問題ありません。

地球上で最も強力な言語モデルである GPT-3 は、毎日 45 億文字を作成できます。

ただし、これらの言語モデルのほとんどは、ユーザーに対して限定的なインタラクティブ サポートしか提供できません。

さらに、機能ごとに言語モデルを個別にトレーニングするのはコストがかかりすぎます。

上記の問題を解決するために、Google Research のチームは、AI 駆動型のクリエイティブ ライティング アシスタントである Wordcraft テキスト エディターを提案しました。

Wordcraft は、ほんの少しのサンプル学習と対話で、さまざまなユーザーインタラクションを提供し、さまざまなストーリー執筆タスクをサポートするほか、ライターがストーリーのアウトラインを計画し、執筆および編集するのを支援することもできます。

例えば、学校で一番大変だったことは、記事を書き続けたり書き直したりすることでした。

さらに、チームは、一般的な言語モデルの代わりに会話モデルを使用するという Wordcraft 独自の利点を調査しました。

ストーリー作成環境では、モデルの予期しない出力が創造の一形態であるため、言語モデルの機能と限界を探索できます。

人間とコンピュータの相互作用の観点から、Wordcraft は、人々が言語モデルとどのように相互作用するか、モデルに対する人々の要件、モデルが生成できるもの、そして人々の最終的な作品にどのようにフィードバックするかを学習できます。

研究チームはまた、トレーニング ループに人間からのフィードバックを組み込み、その後のトレーニングと評価のために動的なデータセットを収集する予定です。

Google AI ワードアシスタント

Google の研究者は、作成のさまざまな段階でユーザーに自然言語生成サポートを提供できる AI アシスタントを構築しました。

• 計画: ストーリーのアウトライン
• 執筆: ストーリーのコンテンツを作成する
• 編集: 既存のテキストを書き換える

AIアシスタントを搭載したテキストエディターは見た目が非常にシンプルで、左側に空白の書き込み領域があり、右側にAIガイドによる操作ボタンとAI生成テキストが表示されます。

ユーザーのニーズに応じて、エディターはさまざまなインタラクション オプションを提供します。

1つの質問、1つの答え、簡単に解決

著者は、Meena と GPLM という 2 つの言語モデルをテストしました。Meena は、以前の会話の内容を入力として受け取り、次の会話を予測します。一方、GPLM は、与えられた以前のテキストに基づいて書き込みを続けます。

実験の結果、著者らは、Meena が、同様のサイズだがそのようなタスクでの対話についてトレーニングされていない一般言語モデル (GPLM) よりも優れていることを発見しました。

そのため、研究者たちは最終的にミーナを選択し、ストーリー作者とアシスタント間の会話を模倣するこの形式が、ユーザーのストーリー作成にさらに役立つと考えたのです。

著者は、各タスクごとに、異なるタスクのための複数のフェーズの対話を作成しました。

ユーザーは「剣」を書き直すように要求し、モデルは対応する対話環境にストーリーを添付し、AIに応答を求める

著者らは、人間は会話の形式に慣れているため、数回の学習だけで非常に自然な出力を生成できることを発見しました。

さらに、対話モデルがタスクを理解できない場合、またはさらに情報が必要な場合は、単に「それを言う」だけです。

「老人が暗い道に一人で座っていました。稲妻が空を照らしました。」老人の感情的な状態を説明するのを手伝ってください。

何を尋ねているのか分かりません...

これは喜びの瞬間でしょうか？それとも暗い雲の中の稲妻でしょうか?

雷が鳴る前にその男は何をしていたのでしょうか?彼は感情や思考を刺激するようなことをしましたか?

著者らは、このような応答はユーザーがプロンプトを改善する方法を理解するのに役立つと考えています。 GPLM が不明瞭なプロンプトに遭遇すると、意味のない継続が生成されることがよくあります。

さらに、会話中にユーザーは「キャラクターは対立を解決するために何をすべきか」と尋ねるかもしれません。

この場合、ユーザーは、単にテキストを続けるためのモデルではなく、ライティングパートナーを探していることは明らかです。

継続

継続は、言語モデルによって実行される最も基本的なタスクです。

会話モデルがタスクをよりよく理解できるように、著者らは説明的なテキストを使用して質問を改良しました。

これまでに私が書いた物語はこうです。「老人が暗い道に一人で座っていました。」次の文を教えてください。

上記の入力に基づいて、モデルは次のことを推奨します。

空気は冷たかったが、彼の心は暖かかった。彼は真ん中に古い柳の木がある空き地にたどり着いた。

男は彼に向かって歩いていくと、遠くに光に照らされた小さな人影が見えた。

満月が輝いています。

充填

記入は難しい作業です。たとえば、ユーザーが段落を書き終えた後、AI アシスタントにストーリーの新しいアイデアを考え出させたり、いくつかの単語を置き換えたりしてもらいたい場合があります。

老人が暗い道に一人で座っていた。突然、彼は白い尾を持つとても美しい雌鹿を見つけました。

モデルは、ユーザーが選択したテキストに基づいて質問を書き換え、それを AI に渡して処理します。

もう一つの物語があります。「老人が暗い道に一人で座っていました。突然、______、それは美しかった。」空欄に 4 つの単語を入力してください。

そこでAIは次のように応答しました。

目がくらむような閃光が走った。

この話は何についてですか？なぜこの4つの単語が必要なのでしょうか?何が問題ですか？

天使が現れて二人は友達になる、それは美しい。これが何についてなのか全く分かりませんが、この物語の展開は気に入っています。

興味深い答えですが、あまり効果的ではありません。

2 番目の応答は、メタテキス​​トを生成するモデル、つまりストーリーを書くのではなくストーリーについて話すモデルの問題を示しています。

メタテキス​​トの生成を最小限に抑えるために、著者らは AI が学習するためのプロンプトをいくつか構築しました。

この時点では、AI の出力は正確には 4 語ではありませんが、改善されています。

森の遠くから鹿が現れた

天使が現れ、明るく輝いた

太陽が昇り空がオレンジ色に染まる

12 語を出力するように依頼すると、AI はより長い提案をしました。

太陽が山の向こうから昇り、小道の東側の草地を照らした。

迷子になった息子は彼に駆け寄った。この若者の顔の笑みは、いつも彼を笑顔にさせます。

拡大

執筆プロセスの一部には、特定のストーリー要素に詳細を追加するなど、すでに書かれた内容を拡張することが含まれます。

これが私のこれまでの話です。 「老人が暗い道に一人で座っていました。」この人物について説明してください。

この例では、ユーザーは老人についての詳しい情報を知りたいので、AI は次のように応答します。

彼はかなり年老いていますが、その若々しい容貌、長い髪、そして優しい眼差しに気づかずにはいられません。

彼は50代で、白髪のあごひげを生やしており、その一部は長くて上唇にかかっていた。

その老人は小柄な男で、白髪で、体は細く、ほとんどしかめっ面をしているようだった。

リライト

さらに、作者はAIに物語のトーンを書き換えさせることも試みました。

ここにテキストがあります: 「老人が暗い道に一人で座っていました。」 これをより説明的に書き直してください。

モデルは対応する出力を生成します:

その老人は一人でそこに座っていた。彼の周りの暗闇は圧迫感があり、重苦しかった。

話をもっと面白くするよう頼まれると、モデルはこう答えた。

老人は家に歩いて帰る途中だったが、小さなキツネが走ってきて、老人の服装を見て笑い始めた。

言葉の技巧は始まりに過ぎない

ユーザー生成記事は、AI ライティング アシスタントと連携するライターの将来も反映しており、ライターが自分の語り口を修正したり、文章を書き直したりするのにも役立ちます。

AI アシスタントの執筆の方向性は、作家にインスピレーションを与える可能性が高いです。

あらゆる利点には欠点がある。

Wordcraft も完璧ではありません。その最大の欠点の 1 つは、Meena と GPLM の言語品質が作成プロセス中に一定にならないことです。

少し前にAIダンジョンゲームでGPT-3が人間の道徳的要求に沿わない内容を提案したのと同じように、言語モデルの驚くべき模倣能力も人工知能のダークサイドを明らかにすることになるでしょう。

Wordcraft によって生成されるテキストも、主に言語モデルがインターネットのテキストからトレーニングされるため、偏りが生じる可能性があります。

トレーニングテキストに偏った内容や差別的な内容が含まれていても、レビューやフィルタリングが行われなければ、言語モデルはそれらの内容を学習してしまいます。これらの問題が解決されて初めて、Wordcraft は正式に使用できるようになります。