ChatGPTは人気があり、Xiaohongshuの技術スタッフとNLPの専門家にその原理と可能性について話を聞きました。

Microsoft、Baidu、Alibaba、Tencent、Xiaomi が市場参入を発表した後、ChatGPT は再びテクノロジー界で注目を集めました。

インターネット企業も急いで意見を表明しており、ChatGPTの実用化に期待が持てそうだ。昨年末と比べると、ChatGPT に関する議論は、技術そのものからその商業的展望やインターネット業界のアプリケーション エコシステムの変化へと移行しています。

月間アクティブユーザー数2億人のライフスタイルコミュニティであるXiaohongshuは、数億枚の写真、長短のテキスト/ビデオメモ、ユーザークエリ、コメントデータなど、写真、テキスト、短いビデオを組み合わせたコミュニティコンテンツエコシステムを持ち、複数のモダリティにわたる膨大なデータセットを提供し、自然言語処理とAI支援コンテンツ生成のための非常に豊富なシナリオを提供しています。

ChatGPT + Xiaohongshu はどのような化学反応を起こすのだろうかと疑問に思わずにはいられません。 Xiaohongshu の技術は、ChatGPT の将来の応用シナリオで位置づけられるでしょうか?テクノロジー業界と資本市場の両方から支持されているこの新しいテクノロジーは、インターネット分野にどれほど大きな影響を与えることができるでしょうか?

実際、昨年末に開催された[REDtech is here]の第6回ライブ放送では、 NLPの専門家でUCSB助教授のLi Lei氏、Xiaohongshuの技術部門ディレクターのKaiqi氏、XiaohongshuのマルチメディアインテリジェントアルゴリズムディレクターのYu Chen氏を招き、ChatGPTの技術的な難しさや応用の展望について具体的に話していただきました。限られた時間の中で、3 人のゲストは ChatGPT の欠点、トレーニング方法、そして将来の研究やアプリケーションにもたらすインスピレーションと影響について議論しました。

わずか1時間半の生放送では物足りなさを感じたため、生放送中の素晴らしい会話を再構成し、小紅書の技術チームのリーダーたちに、みんなが関心を持っているトピックをいくつか追加してもらいました。 Xiaohongshu + ChatGPT によってどのような新しい機会が生まれるかも、この Q&A トランスクリプトに隠されています。

Q: ChatGPT とのやり取りで、最も印象に残った回答は何ですか?

ケージ（小紅書技術部長） ：私はかつてサッカーのルールについて質問したことがあります。サッカー選手が手でボールを蹴ってゴールに入れた場合、それは得点としてカウントされますか？と聞かれると、はいと答えましたが、それはルール違反だと付け加えました。 ChatGPT の回答は正しい場合もあれば、矛盾している場合もあります。

Li Lei (カリフォルニア大学サンタバーバラ校助教授) : まず、ChatGPT の応答は、以前の GPT-3 とは大きく異なります。応答は非常に長く、そのほとんどは私たちが指定したトピックを中心に生成されます。さらに、答えがわからない質問や確信が持てない質問に対しては、意味不明な答えを出すのではなく、「わかりません」または「その情報はありません」と答えるのが普通で、これもユーザーフレンドリーです。

また、ワールドカップについて、優勝者は誰かなど質問してみたところ、「そのような情報はありません」と答え、「ただし、過去の大会の情報を知りたい場合は、引き続き質問してください」と返答があった。

Yu Chen (Xiaohongshu のマルチメディア インテリジェント アルゴリズムの責任者) : ChatGPT が Linux ターミナルとして機能する例があります。ChatGPT におおよそのマシン構成を伝え、それに基づいていくつかの命令を実行させます。ChatGPT は長い操作履歴を記憶でき、前の操作と次の操作の論理関係が非常に一貫していることがわかります (たとえば、数行の文字をファイルに書き込んでから、ファイルに書き込まれた文字を表示するように要求すると、すべての文字を表示できます)。

DeepMind の研究者 Jonas Degrave 氏は、ChatGPT を Linux ターミナルの例として紹介しています。

画像ソース: https://www.engraved.blog/building-a-virtual-machine-inside/

ChatGPT がユーザーを欺くためにバックグラウンドでターミナルを開いたのではないかと疑問に思います。そこで、ターミナルを開いているのか、実際にそこにあるコマンドを理解しているのかを判断できるかどうかを確認するために、いくつかのテストを実行しました。

私たちは、それぞれ 10 億回の for ループを 2 つ設定する非常に複雑な命令を作成しました。ChatGPT が実際にターミナルを開くと、しばらく停止してしまいます。結果は予想外のものでした。ChatGPT はこのプロセスをすぐにスキップし、このコマンドの後に次の結果を表示したため、デモ全体のロジックを理解し、一定の「思考」能力があると感じられました。たとえ回答に多少の文法的な間違いがあったとしても、あなたが本当に聞きたいことを認識し、正しい答えを教えてくれます。これにはとても感心しました。

Q: 最近、ChatGPT の波が非常に高まっています。ChatGPT に関して最も懸念していることは何ですか?

Tetu（小紅書情報フロー広告モデルエンジニア） ：非技術的な側面で言えば、私が最も懸念しているのは政策です。AIの能力は諸刃の剣であり、かつて顔を変える技術で証明されました。NLPはさらに規制が難しいようです。今回、ChatGPTの政策の方向性は、実はAIの将来にとって非常に重要なのです。技術的なレベルでは、チューリングテストに合格するために ChatGPT に何が欠けているかに非常に興味があります。

Q: ChatGPT の現在の欠点は何ですか?これらの問題は、大規模な言語モデルに関係するものでしょうか、それとも技術モデルのトレーニングに関係するものでしょうか? どうすれば克服できるでしょうか?

Yu Chen : ChatGPT は確かに大きな変化と改善を遂げてきましたが、もちろん、時々「真面目な態度でナンセンスな話をする」など、まだ多くの問題に遭遇しています。トレーニングのプロセスと記憶における「事実」については非常に固執しており、たとえそれが間違っていると伝えても、依然としてその答えに固執します。一例として、ChatGPT に数値 x が素数かどうかを尋ねることがあります。ChatGPT は常に素数であると考えています。対話的に、x は a と b の積に分解できることを伝えます。再度尋ねると、ChatGPT は依然として x を素数であると認識するため、内部ロジックにまだ問題があります。

もう 1 つの側面は、ChatGPT を実際により多くのシナリオに適用する方法です。大規模モデルのトレーニングと使用コストは非常に高く、小規模データでは良好なパフォーマンスを発揮することが困難です。トレーニングサンプル、モデルパラメータ、計算能力が大規模モデル事前サポートネットワークにまで増加した場合にのみ、比較的驚くべき機能を発揮できるため、実用化にはほど遠い可能性があります。しかし、それによって誰もが新たな突破口や可能性を見出すことができ、ある程度、困難を解決して次の段階に進むためのモチベーションを誰もが得ることができ、これは非常に重要です。

Li Lei : ChatGPT は、一部の特定のタスク (翻訳など) では SOTA に到達していない可能性があります。 ChatGPT の API はまだリリースされていませんが、いくつかのベンチマークにおけるその機能についてはわかりません。しかし、私の学生は、GPT-3 をテストする過程で、GPT-3 は翻訳タスクを非常にうまく完了できるものの、個別にトレーニングされた現在のバイリンガル モデルよりもまだ劣っていることを発見しました (BLEU スコアは 5 ～ 10 ポイント低い)。そのため、ChatGPT はいくつかのベンチマークで SOTA に到達しない可能性があり、SOTA からかなり離れている可能性もあると推測しています。

Q: ChatGPT の強力な機能については 2 つの仮説があります。1 つは、ChatGPT のこの強力な機能はビッグ モデルに組み込まれているが、これまで適切にリリースされていなかったというものです。もう 1 つは、ビッグ モデルの組み込み機能はそれほど強力ではなく、人間の力を使って調整する必要があるというものです。どう思いますか？

Yu Chen : 私個人としては、ChatGPT の機能のほとんどはすでに大きなモデルに組み込まれていると考えています。大規模なモデルをトレーニングして微調整するために必要なデータの量は数桁異なりますが、この違いは GPT-3 およびそれ以降のモデルで使用される「事前トレーニング + プロンプト」パラダイムではさらに顕著になります。一方で、情報はすでに大きなモデルの中にあると私は考えています。他方で、この大きなモデル自体には、まだ活用されていない魔法のような機能がもっとあるのではないかと考えています。

冗談です。人類の進化と比較すると、現在のディープラーニング モデルはデータの利用効率が低いとよく言われます。人間は、非常に少ない例から多くの知識を効果的に学習できますが、モデルの場合はさらに困難です。しかし、人間の生命は誕生した日から進化し続けており、多くの遺伝的連続性を経験しており、これは「事前トレーニング」プロセスのようなものです。人が生まれた後、この実際の環境から小さなサンプルが採取され、「微調整」されます。このようなロジック、つまり非常に強力な大規模モデルがあり、さまざまな人がそれぞれのシナリオで小さなサンプルを採取して、さまざまなアプリケーションに基づいて微調整したり、単にプロンプ​​ト デザインを使用してパフォーマンスを向上させたりするとします。この道筋が実現可能だと仮定すると、ChatGPT の将来の応用範囲は非常に広くなると思います。これは私の意見です。

Li Lei : ChatGPT の機能のほとんどはすでに大きなモデルに組み込まれていると思います。 ChatGPT 以前に、GPT-3 の論文ではすでに「コンテキスト内学習」または「数ショットのデモ」と呼ばれる強力な機能が実証されていました。この「few shot」は、以前の「few shot」機能とは異なります。GPT-3 の「few shot」では、モデル パラメーターを更新せずに、テスト時にいくつかの例が提供されます。 GPT-3 によって実証された機能は、モデル自体にこの機能があることを示していますが、刺激することはできない可能性があります。モデルが回答を出力するように誘導するには、入力テキストのコンテキストにラベル付けされたサンプルを少数配置する必要があります。これはとても嬉しいことです。ChatGPT は GPT-3 よりも一歩進んでいます。会話全体の履歴に基づいて応答できるという点がさらに驚きです。

従来の微調整方法と GPT-3 のコンテキスト内学習方法の比較。

Q: ChatGPT の威力は、RLHF (ヒューマン フィードバック強化学習) トレーニング メソッドにも依存しています。RLHF トレーニング メソッドと大規模モデル自体の機能についてどう思われますか?

Li Lei : 以前、機械翻訳の研究を行っていたときは、BLEU スコア (人間の判断と高い相関関係にある、高速かつ安価で言語に依存しない自動機械翻訳評価方法) を使用してモデルをガイドしていました。 BLEU スコアは人間からのフィードバックではありませんが、多くの計算を通じてこれらの例を簡単に得ることができます。また、BLEU スコアと人間からのフィードバックには強い相関関係があります。BLEU スコアは大まかに言えば、人間からのフィードバックであると考えることができます。当時はモデルが比較的弱かったため、メトリックを使用して翻訳モデルをガイドし、5〜10％の大幅な改善を達成できました。しかし、トランスフォーマーが登場した後、特にモデルとデータがどんどん大きくなるにつれて、追加のメトリックが必ずしも大きな改善をもたらさないことがわかりました。

そのため、 GPT-3のような超大規模モデルをフィードバックを使って学習しても理論的にはあまり改善されないというのが経験上の結論ですが、ChatGPTの驚くべき効果はこの経験を覆すものでした。

LLM (大規模言語モデル) の機能の限界は何ですか? 抽象的思考や論理的思考は可能ですか、それともすでに実行されていますか?

邱歌（事業部技術基盤NLP構築責任者） ：私の浅い理解では、大規模言語モデルの能力限界は、既存のデータに含まれる知識の範囲内であり、記憶力に優れた天才が達成できる上限と似ています。さらに、この限界に実際に到達する可能性は低いです。結局のところ、コンピューティングパワーとトレーニングデータは無限ではありません。

実際、真の抽象的思考は不可能です。表面的な推論は問題ありません。一見深遠または専門的であるように見える回答のほとんどは、実際にはトレーニング データに含まれているか、類似の回答が以前に見られたことのあるものです。本当の意味での論理的思考を大規模言語モデルだけに頼るのはさらに不可能です。最も単純な例を挙げると、大規模言語モデルでは加算と減算の問題をうまく解決できません。ChatGPT のような強力なアルゴリズムでも、100 または 10 以内の単純な計算しか処理 (記憶) できません。より複雑な計算は基本的に推測に頼っています。

Tetu : この問題の鍵は「思考」をどう捉えるかにあるのではないかと思います。「中国語の部屋」実験を支持する人は、これは思考ではないと思うでしょうし、「チューリングテスト」を支持する人は、これは思考であると思うでしょう。

ChatGPT は Google や Baidu などの従来の検索エンジンに取って代わることができると思いますか?

Li Lei : ChatGPT の技術は確かに素晴らしいですし、効果も非常に良いかもしれませんが、その技術を使って幅広いユーザーに受け入れられ、商業的に成功できる製品を作ることができるかどうかは疑問です。このような新しい技術は大きな可能性を秘めているに違いありませんが、それが Google や検索エンジンに取って代わることができるかどうかはわかりません。特に、ChatGPT は、質疑応答に近い質問を検索エンジンよりもうまく処理します。しかし、ユーザーが検索するとき、このタイプのクエリはどれくらいあるでしょうか? これらの質問は、すべての人にとって最も重要なニーズなのでしょうか?不確か。

ChatGPT をベースに次世代製品を作る場合、既存の製品をターゲットにするのではなく、ChatGPT の強みと機能に注目し、その強みに焦点を当てる必要があります。既存の製品を置き換えることは ChatGPT の強みではない可能性があります。

陳宇氏：伝統的なメーカーは長年検索エンジンを製造してきました。数十年後に新しい検索形式が登場すれば可能ですが、短期間で既存の検索エンジンを置き換えるのは現実的ではありません。私の理解する限り、ChatGPT には、ユーザーのパーソナライズに関連する機能、インターネット リソースへのリアルタイム アクセスが実現できないこと、エラー情報の生成など、少なくとも現在のバージョンでは示されていない多くの問題がまだ残っています。特に、誤解を招くような情報を発信した場合、エコシステム全体に大きな影響を及ぼします。 ChatGPT が初めて登場したとき、多くの人が ChatGPT への回答をさまざまなソーシャル フォーラムに持ち込み、他の人の質問に答えたため、多少の混乱が生じていたことを覚えています。

ChatGPT の興味深い技術的ポイントに基づいて、現在の検索チェーンの各リンク (特に NLP 理解に関連するもの) をさらに改善し、より優れたものにしていきます。これは非常に期待できます。

もう 1 つの側面は、ChatGPT の現在の機能がテキストに適用され、将来的にマルチモーダル シナリオに一般化および複製できるかどうかです。検索エンジンはマルチモーダルであることが多いです。例えば、Xiaohongshu で検索すると、多くの写真、テキスト、ビデオが返されます。今後、ChatGPT がさまざまなシナリオで進歩できることを願っています。

Q: ChatGPT によって達成された重要なブレークスルーは、研究分野全体にどのような重要なインスピレーションをもたらすでしょうか?将来の研究への影響は何でしょうか?

李磊：学校がこの分野の研究を行うのは実はかなり難しいのですが、さらに探求できる点が 2 つあります。

1 つは、先ほど述べたコンテキスト内学習機能です。これまで、NLP モデルや CV モデルのいずれに取り組んでいたとしても、モデルの潜在能力をどのように引き出せるかを検討していませんでした。たとえば、中国語から英語への機械翻訳などの機械翻訳モデルをトレーニングする場合、モデルにヒントを与えればより良い翻訳が生成されるかどうかは考えません。しかし、GPT-3とChatGPTは私たちに新しいアイデアを与えてくれました。例えば、これまでのモデルをすべてコンテキスト内学習と数ショットのデモに変更し、いくつかのプロンプトを追加し、プロンプトがテキスト、画像、その他のいずれであるかに関係なく、プロンプトを入力するときに事前トレーニング済みモデルの機能を最大限に活用できるかどうか。これは非常に研究する価値があります。

2番目に研究する価値があるのは、人間のフィードバックです。低コストで高効率に大量のフィードバック信号を得るのは困難です。すべての「入力」と「出力」を人間が記述するとしたら、多くの結果は得られないでしょう。 Google が改善を続けられる理由の 1 つは、人間からのフィードバックを得るのが非常に簡単であることです。ユーザーがクエリを入力すると、結果が表示されます。Google は、ユーザーが結果をクリックしたかどうかを確認でき、それがフィードバックとなります。つまり、実際には、ユーザーは使用中に Google がシステムのパフォーマンスを継続的に改善するのに貢献しているのです。

ChatGPT と GPT-3 に戻りましょう。現在の形式では、十分な人間からのフィードバックを得ることは依然として非常に困難です。ユーザーが「入力」し、システムが「出力」を返すものの、ユーザーはまだ良いフィードバックを与えていないため、2 つの回答のうちどちらが良いか悪いかをユーザーに尋ねる必要があります。もちろん、ChatGPT はこの方法でいくらかのフィードバックを取得します。これは手動で記述するよりもコストがかかりませんが、Google のようにすべてのユーザーや Web 全体からフィードバックを取得することは依然として困難です。今後は、ユーザーからのフィードバック信号を低コストで取得し、さまざまなモデルの構築に役立てる方法を検討する必要があります。これらは私が重要だと思う2つのポイントです。

画像出典: https://twitter.com/yizhongwyz/status/1605382356054859777

Yu Chen : 私たちのチームは主にインテリジェントな作成に取り組んでいます。ChatGPT に加えて、クロスモーダル コンテンツ生成も最近非常にホットな分野です。 1 段落のテキストを書くだけで、素晴らしい画像や短いビデオを生成できます。また、テキストの説明を使用して、画像を別のスタイルにすばやく移行することもできます。この方向性は、将来の創作において非常に興味深い用途が数多くあると思います。しかし、この方向にはまだ多くの問題があります。その制御可能性は時々人々の想像から大きく外れ、悪いケースが時々発生します。全体的に、ChatGPT の開発といくつかの論文の発表により、クロスモーダル生成テキスト モデリングで極端な結果を達成できれば、テキストとビジュアル コンテンツの関連性の向上に大いに役立つ可能性があると思います。これはインスピレーションであり、後で焦点を当てます。

ChatGPT は、複雑な複数ラウンドの会話、さまざまなクエリの一般化、Chain of Thought などのさまざまなシナリオにおいて、小規模モデルと比較して大規模な NLP モデルが大幅に改善されていることを直感的に示しており、これらの機能は現在、小規模モデルでは利用できません。

大規模な NLP モデルのこれらの関連機能は、クロスモーダル生成でも試され、検証される可能性があります。現在、クロスモーダル モデルは、GPT-3/ChatGPT と比較してモデル規模にまだ大きなギャップがあり、クロスモーダル シナリオでは、NLP ブランチの表現力が向上するにつれて、ビジュアル生成結果の洗練に大きく役立つことを示す研究も数多くあります。現在、生成された結果は、選択的な条件下で非常に優れた驚くべき結果を生み出すことがよくありますが、制御性については依然として多くの余地があります。この点では、より大きなモデル、高品質のデータに基づく微調整、強化学習など、ChatGPT の多くのアイデアを参考にして試みることができます。

先ほど李磊教授がおっしゃったHunmanフィードバックもあります。クロスモーダル生成では、基本的にユーザー向けのコンテンツが一度に作成されます。ユーザーが投稿したコンテンツや好きな情報などについては、一部のデータを手動で注釈付けして、どのコンテンツがより好きか、フィードバックはどうかを確認することもできます。強化学習の考え方を導入すると、このリンクにも役立つかもしれません。これらの技術の多くは共通点があるように見えますが、テキストフィールドからクロスモーダルフィールドに移行したときに同じ効果が得られるかどうかは定かではありません。これはまだ検証されていません。クロスモーダル生成の分野におけるモデルのスケール範囲と自然言語の大規模モデルの間にはまだギャップがありますが、試してみる価値はあると思います。

ChatGPT の機能上の利点は小型化後も維持されるでしょうか。また、LLM の将来の小型化領域をどのように見ていますか。

Li Lei : 過去の経験から、大型モデルは確かに小型化が可能であり、特定のタスクに合わせて小型化できることがわかっています。通常、モデルを 1 ～ 2 桁縮小すれば、特定のタスクをうまく実行できるようになりますが、元の機能を完全に維持してモデルのサイズを 1 ～ 2 桁小さくする必要があると言うには、まだ確固たる証拠は見ていませんが、これは将来に向けた重要な研究方向だと思います。

将来、AIGC 分野における ChatGPT の機能の応用シナリオと開発の余地は何でしょうか? Xiaohongshu 内で ChatGPT を使用することは可能ですか?

Yu Chen : 小紅書のシナリオで ChatGPT を直接使用するのは非常に難しいかもしれません。特に、現在呼び出すための公開 API がないため、大量の情報をアップロードする必要がある場合、小紅書のシナリオで直接使用する方法はありません。先ほど議論したように、ここで取り上げた技術的なアイデアの多くは、私たちの仕事やさまざまなサブタスクで参考として使用できます。

同様の対話モデル、自然言語モデル、AIGC 機能について一般的に言及すると、まだ多くのシナリオがあります。例えば、インテリジェントな顧客サービスや、先ほど李教授がおっしゃった機械翻訳のさらなる改善、検索におけるクエリ理解機能の改善などです。

ChatGPT は単なる ChatGPT ではなく、実際には一連の作業です。この一連の作業により、NLP のさまざまなサブタスクに非常に大きな改善がもたらされました。一般的に言えば、ほぼすべての NLP 関連タスクは関連しています。どのモデルが大規模なエンジニアリング アプリケーションに十分な軽量性を持つことができるかについては、今後様子を見る必要があります。

私はずっとAIGCにとても興味を持っています。関連するAIの能力は、すべてのシナリオで特に優れているわけではありませんが、少なくとも特定のシナリオ、特にあるモダリティを別のモダリティに変換するAIペインティングに関連するシナリオでは、少し精神的に優れています。ペインティングの面では、その能力は完璧ではないかもしれませんが、99%の人々のペインティング能力を超えています。

テキストと映像に加え、音声と音楽を含むあらゆる 2 つのモダリティの移行と変換は、この業界における重要な研究方向です。小紅書は全体として、さまざまな異なるモードでコンテンツを持っています。これらのモードを創作モードで大幅に削減し、ユーザーがより低コストで便利に自分の生活を記録し、表現できるようにできれば、これは非常に興味深い方向性になるでしょう。

さらに、ChatGPTが実証した大規模なNLP事前トレーニング済みモデルや、少量の特定のコーパスに対する教師あり学習と強化学習を通じて微調整されたモデルは、非常に強力な機能を発揮しています。マルチモーダル機能と組み合わせることで、多くのシナリオに適用できます。たとえば、電子商取引などのシナリオにおけるインテリジェントな顧客サービス、検索におけるユーザークエリとユーザーメモのより正確な理解、インテリジェントな作成シナリオにおけるインテリジェントな音楽アレンジ、テキスト生成、クロスモーダル変換、ユーザー素材の生成などです。モデルのサイズが圧縮され、モデルの精度が向上し続けるにつれて、さまざまなシナリオでのアプリケーションの深さと幅が引き続き強化され、拡張されます。

ChatGPT の機能が Xiaohongshu に接続されると、Xiaohongshu のマルチモーダル コンテンツ エコシステムにどのような新たなブレークスルーがもたらされるでしょうか? ChatGPT+Xiaohongshu=?

邱兄弟：突破口が開けるかどうかは分かりませんが、まずはリスクを防ぐ必要があるかもしれません。 ChatGPTはソフトな記事を書くのに非常に優れているため、越境ECを行っている多くの人がすでにChatGPTを使用して、SEO用の商品のセールスポイントやキーワードなどを作成しています。マルチモーダル ChatGPT が登場するまで待てば、その影響はさらに大きくなるかもしれません。だから、ChatGPTに対抗する能力こそが、Xiaohongshuにとって最も緊急なことだと思います。

現在、多くのコンテンツベースの企業が ChatGPT の人気に乗っており、非常に関連性が高いように見えますが、私の意見では、 Xiaohongshu では、まず ChatGPT + Xiaohongshu = ChatGPT という状況を避け、次に ChatGPT + Xiaohongshu = Xiaohongshu plus を実現する方法を模索する必要があるかもしれません。

ChatGPT の機能はセキュリティ技術にどのような影響を与えるでしょうか?

Ben An (アプリケーション セキュリティ エンジニア) : 私の個人的な経験に基づくと、ChatGPT は現在、監査のために脆弱性がある可能性のあるコードを送信したり、十分な条件を備えた環境でリスクを評価したりするなど、非オープンなセキュリティ リスク分析で優れたパフォーマンスを発揮します。

しかし、欠点もあります。言語モデルとして、ChatGPT は学習能力を持っていますが、受け取った知識の正確さをうまく判断できないようで、間違った情報を返すこともあります。そのため、セキュリティ担当者が十分な技術的基礎を持っていない場合、間違った回答に簡単に惑わされてしまう可能性があります。たとえば、リスク評価レベルや、比較的答えがオープンなソリューションの場合、エラー率は比較的高くなります。コード監査のエラー率は比較的低いですが、それでもエラーが発生する場合があります。 ChatGPT は強力な参照ナレッジ ベースとして機能しますが、セキュリティ担当者が回答の正確性を判断する基本的な能力を持っている必要があります。