ヒントエンジニアリング: LLM で必要なものを生成

翻訳者 |ブガッティ

レビュー | Chonglou

生成AIモデルは、入力に基づいてコンテンツを生成するようにトレーニングされます。入力指示がより詳細に記述されればされるほど、出力はより正確かつ精密になります。生成AIモデルに入力される入力指示は、プロンプトと呼ばれます。最も適切なプロンプトを設計する技術は、プロンプトエンジニアリングと呼ばれます。

この記事では、GPT-4 や PaLM などの大規模言語モデル( LLM)を扱う開発者向けにヒント エンジニアリングを紹介します。 LLMの種類、プロンプエンジニアリングの重要性、さまざまなヒントを実例を交えて解説します。

大規模言語モデルの理解

プロンプティングプロジェクトの紹介を始める前に、 LLMの開発の歴史について説明しましょう。これはプロンプトの重要性を理解するのに役立ちます。

生成AI は、教師なし学習技術に基づく巨大なデータベースを使用してトレーニングされた基本モデルに基づいています。これらの基本モデルは、特定のユースケースやシナリオに合わせて微調整された複数のモデルバリエーションの基礎となります。

大規模言語モデルは、基本 LLMと命令調整LLMに分けられます。

ベース LLM は、パブリック ドメインで利用可能な大規模なデータセットを使用してトレーニングされたベース モデルです。これらのモデルはすぐに使用でき、単語補完に優れています。文の中で次に何が来るかを予測することができます。基本的なLLMの例としては、 OpenAIのGPT 3.5やMetaのLLaMaなどがあります。文字列を入力として基本モデルに渡すと、通常は入力文字列の後に別の文字列が生成されます。

命令調整されたLLM は、命令に従って適切な出力を生成するように設計された基本モデルの微調整されたバリエーションです。指示は通常、タスクを説明したり質問したりする形式をとります。 OpenAIのgpt-3.5 - turbo 、スタンフォードのAlpaca 、 DatabricksのDolly は、命令ベースのLLMの例です。 GPT-3.5ターボモデルはGPT-3ベースモデルに基づいていますが、 AlpacaとDolly はLLaMaの微調整されたバリアントです。

これらのモデルは、人間からのフィードバックによる強化学習( RLHF )と呼ばれる手法を使用しており、モデルは与えられた各指示に対して人間からのフィードバックを受け取ります。このモデルへの入力プロンプトは、ベース モデルに入力されるものよりも説明的でタスク指向です。

デザインの重要性を再認識

ヒントエンジニアリングは、 LLMの可能性を最大限に引き出すために不可欠なスキルです。適切に設計されたプロンプトは、意図の明確さを確保し、コンテキストを識別し、出力スタイルを制御し、偏見を減らし、有害なコンテンツを回避します。プロンプトを慎重に設計することで、ユーザーはLLM の関連性と精度を向上させ、さまざまなアプリケーションコンテキストで生成AI を責任を持って使用できるようになります。

このプロジェクトの 2 つの重要な側面は、 LLM の包括的な理解と英語力の熟練度です。適切に設計されていないプロンプトは、幻覚に近い、貧弱で未熟で不正確な応答しか生成しません。正しい語彙を使用して最も簡潔な形式でモデルに指示することは、 LLM の力を活用するために重要です。

複数のLLMを扱うことになるため、モデルに固有のベストプラクティスとテクニックを理解することも重要です。これは通常、モデルを使用した経験と、モデルプロバイダーによって公開されたドキュメントと例を注意深く分析することから得られます。 LLM は、入力を受け入れて出力を生成するために使用できるトークンの数によっても制限されます。トークンは圧縮された入力テキストの形式です。ヒント:モデルによって指定されたサイズ制限を遵守する必要があります。

プロンプトの種類

ヒント エンジニアリングは、具体的なガイドラインや原則がない、まだ曖昧な分野です。 LLMが進化し続けると、プロンプトエンジニアリングもそれに伴って進化します。

現在のLLMと組み合わせて使用​​される一般的なプロンプトの種類をいくつか見てみましょう。

• 明示的なプロンプト

明示的な手がかりは、LLM に明確かつ正確な指示を提供します。ほとんどの場合、それらは明確かつ要点を押さえており、 LLM に簡単なタスクや回答すべき質問を提供します。明示的なプロンプトは、記事の要約や複数選択の質問への回答など、事実に基づいた短い回答を提供したり、タスクを完了したりする必要がある場合に役立ちます。

明確なプロンプトの例としては、「別の世界への隠された扉を開く魔法の鍵を発見した少女についての短編小説を書いてください。 」などがあります。

この明確なプロンプトは、ストーリーのテーマ、設定、主要な要素を明確に概説し、LLM にコンテンツを生成するための具体的な指示を提供します。このようなプロンプトを提供することで、 LLM は、応答が所定の基準を満たしていることを保証し、提供された概念に基づいてストーリーを作成することができます。

• 会話のヒント

ダイアログ プロンプトは、より自然な方法でLLMと対話できるように設計されています。ほとんどの場合、質問はそれほど構造化されておらず、 LLM では長さとスタイルの自由度が高くなります。会話型プロンプトは、チャットボットや仮想アシスタントを使用する場合と同様に、より自然でスムーズな応答を提供するのに役立ちます。ダイアログプロンプトの例を見てみましょう。

「ねえ、バード！猫に関するジョークを教えてくれませんか？」

この会話プロンプトでは、ユーザーはLLM との会話を開始し、特定の種類のコンテンツ(ここでは、猫に関する面白いジョーク)を明示的に要求します。 LLM は、猫に関連した面白いジョークを提供することで、ユーザーの要求を満たす応答を生成できます。この会話プロンプトにより、 LLM とのよりインタラクティブで魅力的なやり取りが可能になります。

• コンテキストベースのプロンプト

コンテキストベースのプロンプトは、LLM に状況に関する詳細な情報を提供するため、 LLM はより正確で有用な回答を提供できるようになります。これらの質問には、 LLMが現在の会話やトピックを理解するのに役立つ分野固有の用語や背景情報が含まれることがよくあります。コンテキストベースのヒントは、出力が正確であり、特定のコンテキストで意味をなすことを確認することが重要であるコンテンツ作成などのアプリケーション領域で役立ちます。

コンテキストベースのプロンプトの例としては、次のようなものがあります。

「来月ニューヨーク旅行を計画しています。人気の観光スポット、地元のレストラン、あまり知られていないスポットをいくつかお勧めいただけますか？ 」

このコンテキスト ヒントでは、ユーザーはニューヨーク市への今後の旅行に関する具体的な情報を提供しています。ヒントには、ユーザーが訪れたいと思う人気の観光スポット、地元のレストラン、あまり人気のない名所などの提案が含まれます。このコンテキストベースのプロンプトにより、 LLM はユーザーの現在の状況を理解し、ユーザーのニューヨークへの旅行に関連するアドバイスや情報を提供することで応答をカスタマイズできます。

• ヒントを開く

自由形式の質問は、 LLMが直面する別の種類の問題です。これにより、モデルはより長く詳細な回答を出すようになります。自由形式の質問は、創造的に文章を書いたり、物語を語ったり、記事や文章のアイデアを考え出すのに役立ちます。これらの質問により、 LLM はより自由な回答を提供し、さまざまなアイデアや視点を分析することができます。

オープンプロンプトを表す次のプロンプトを例として挙げます。

「テクノロジーが社会に与える影響について教えてください。 」

この自由形式のプロンプトでは、ユーザーは特定の側面や角度を指定せずに、幅広いディスカッショントピックを開始します。 LLM では、社会的交流、経済、教育、プライバシー、その他の関連する側面など、テクノロジーが社会に与える影響のあらゆる側面を自由に探求できます。この自由形式の質問により、LLM は、テクノロジーが社会に与える影響に関するさまざまな側面と視点を深く掘り下げて、より包括的な回答を提供することができました。

• 偏見をなくすためのヒント

ヒントは、 LLMが出力に起こり得る偏りを回避するように設計することができます。たとえば、プロンプトではさまざまな視点を求めたり、 LLM に証拠に基づく思考について考えるように提案したりすることができます。これらの質問は、 LLM に隠れた偏見がないこと、そして結果が公平かつ公正であることを保証するのに役立ちます。

以下は、 LLM に偏見を避けるように求めるプロンプトの例です。

「次のトピックについて、バランスのとれた客観的な見解を示す回答を作成してください。インドのカーストに基づく保留地。複数の視点を提供することを検討し、特定のグループ、イデオロギー、または視点に偏ることは避けてください。信頼できる情報源に裏付けられた事実情報を提供することを目指し、回答において包括的かつ公平になるように努めてください。 」

このプロンプトは、 LLM が中立的かつ偏見のない方法でトピックを調査することを奨励します。多様な視点を提示すること、偏見を避けること、信頼できる情報源からの事実に基づく情報に頼ることの重要性を強調しています。また、包括性と公平性を重視し、 LLM に対してさまざまな視点を考慮し、差別や偏見を助長しないように求めています。このヒントを提供する目的は、潜在的な偏りを排除し、よりバランスの取れた出力を提供することです。

• コード生成のヒント

LLM はパブリックドメイン コード ベースを使用してトレーニングされるため、さまざまな言語でコード スニペットを生成できます。コードベースの LLM プロンプトは、 LLM に特定の言語でコードを生成するように要求するプロンプトです。プロンプトは具体的かつ明確で、 LLM が正しい回答を生成するのに十分な情報を提供する必要があります。コードベースの LLM プロンプトの例を次に示します。

「整数のリストを入力として受け取り、リスト内のすべての偶数の合計を返す Python 関数を記述します。 」

この例では、プロンプトは、指定されたリスト内のすべての偶数の合計を計算する Python 関数を要求します。生成されたコードは、整数のリストを入力として受け入れる sum_even_numbers という関数を定義します。偶数の合計を格納する変数 sum を初期化し、入力リスト内の各数値を反復処理します。数が偶数（つまり、 2 で割り切れて余りがない）の場合、その数が合計に加算されます。最後に、関数は合計を返します。また、ドキュメントを追加し、解決策に至った経緯を説明します。

このシリーズの次の記事では、プロンプト エンジニアリングのいくつかの手法を例とともに説明します。乞うご期待！

プロンプトエンジニアリング: LLM を活用して必要なコンテンツを作成 (Janakiram MSV 著)