OpenAI がハッカーのグループチャットに潜入！盗まれたChatGPTは「Meow Meow GPT」に置き換えられました、ネットユーザー：まさに伝説的

ChatGPT がハッカーによって「ハッキング」された場合、OpenAI はどのように対応するのでしょうか?

API を遮断して使用できないようにしますか?いやいやいや。

これらのオタクが取ったアプローチは、型破りなもの、つまり「インファナル・アフェア」のバックハンドショットと言えるでしょう。

これがその話です。

OpenAIはChatGPTをリリースする前に多くのセキュリティテストを実施しましたが、APIを公開した後も、悪意のあるハッカーがそれを利用してトラブルを引き起こすのを防ぐことはできませんでした。

ある日、チームのエンジニアが ChatGPT エンドポイントのトラフィックが少し異常であることに突然気づき、調査した結果、誰かが API をリバースエンジニアリングしている可能性が高いことが判明しました (海賊版 API)。

しかし、OpenAIはこれらのハッカーをすぐに止めることは選択しなかった。なぜなら、チームがそうした場合、ハッカーはすぐに異常に気づき、戦略を変えて攻撃を続けるだろうからである。

このとき、チーム内の「賢い人」が巧妙なアイデアを思いつきました。

これを「catGPT」にすると、各トークンは「meow」になります…

「罠」がうまく仕掛けられた後、ハッカーの兄弟がChatGPTに別の質問をしたときの写真のスタイルは次のようになりました。

そうです、何を尋ねても答えは「ニャー言葉、ニャー言葉」です。

にゃー、分からないよ。私は鳥ではなく猫です！

最初、ハッカーの兄弟は自分が「罠」にかかったことに気づかず、不思議な体験を説明するメッセージを投稿したほどだった。

しかし、ハッカーグループの誰かがすぐに何かがおかしいことに気づいた。

両方のエージェントに同じことが起こりました。私たちはもう終わりだと思いました。

グループのメンバーの一部は Discord コミュニティでも議論しました:

おい、OpenAI は我々がモデル(海賊版 API を使用)を使用していることに気付いて、「猫言語プロンプト」で応答し始めたと思うか?
もしそれが本当なら、とても面白いですね！

彼らは、OpenAI のメンバーがすでに Discord コミュニティに潜入し、ハッカー間の会話を監視していたことを知りませんでした...

ハッカーたちは最終的に真実を発見し、遅ればせながらそれに気づいた後、ついに Discord で OpenAI チームと話し合った。

とてもがっかりしました。 OpenAI の誰かがこれを読んでいるのは知っています。
あなたには「リック・アストリー」を私たちに与える絶好の機会があったのに、猫を選んだのです。

これに対し、OpenAIのメンバーは「分かりました。次回はそうします」と答えた。

上記の興味深い話は、実は OpenAI のエンジニアである Evan Morikawa 氏が技術共有イベントで明らかにしたものです。

この話を読んで、多くのネットユーザーがため息をついた。

まさに伝説的！

話は盛り上がって面白いのですが、本題に戻りましょう。これは、現在の大型モデルの時代に存在する安全上のリスクを間接的に反映したものでもあります。

エヴァンはイベントでこう語った。

モデルが強力になるにつれて、悪意のある人の手に渡った場合の被害も大きくなり、ここでの私たちの警戒は飛躍的に高まる必要があります。

さらに、Evan 氏はイベントで OpenAI と ChatGPT に関連する 2 つの「秘話」も披露しました。

読み続けましょう。

OpenAI: 十分なGPUがあれば、もっと早くリリースできただろう

Evan はまず、ChatGPT の初期の人気について次のように振り返りました。

それをリリースするという社内の決定から予想外の人気まで、マスク氏もツイートして議論した。

その後、大量のユーザーが流入しましたが、当時のユーザー自身も、GPU の能力がそのような大きな負荷を処理できないことに不安を感じていました。

その後、Evan は ChatGPT を動かすために使用している、8 つの Nvidia A100 GPU を搭載したコンピューターを披露しました。

各 GPU には特別な HPM 高帯域幅メモリも接続されていますが、重要なのは、すべての GPU が相互に通信する必要があることです。

Evan 氏は、各リンクのパフォーマンスが ChatGPT の最終的なエクスペリエンスに影響を与えると述べました。

次に、Evan 氏はこの時点で立ち、OpenAI が GPU 上で最初に遭遇したボトルネックをレビューして要約しました。

GPUメモリ不足

ChatGPT のモデルは非常に大きいため、モデルの重みを保存するには大量の GPU メモリが必要です。ただし、GPU 上の高帯域幅メモリは非常に高価で制限があり、多数のユーザー要求を同時に処理するには不十分です。これが最初のボトルネックになります。

非効率的な計算

テンソル演算のメモリアクセスパターンが十分に考慮されていなかったため、GPU 使用率インジケーターの初期監視に問題がありました。その結果、GPU の計算能力が十分に活用されず、貴重な計算リソースが無駄になります。

拡大が難しい

ChatGPT のトラフィックは急増しましたが、GPU サプライチェーン全体の制限により、短期間で GPU サーバーの台数を増やすことはできず、ユーザーアクセスを制限する必要がありました。自動的にスケールアウトできないことが大きな課題となります。

多様な負荷特性

ユーザーの使用パターンが変化すると、GPU の計算方法とメモリアクセスパターンをさまざまなモデルやリクエストタイプに合わせて常に調整する必要があり、最適化が困難になります。

分散トレーニングは難しい

GPU 間の通信とデータ交換は、トレーニングアーキテクチャにおける新たなボトルネックになります。

OpenAI が GPU を使用して大規模なモデルサービスを展開し始めたとき、経験不足のためにシステムレベルのいくつかの困難に直面したことがわかります。ただし、ChatGPT が安定して実行されるのは、戦略の継続的な調整と徹底的な最適化を通じてです。

そしてエヴァンはこうも明かした。

GPU 不足がなかったら、昨年の製品および機能のリリースのペースはもっと速かったでしょう。
準備は整っていましたが、負荷に耐えられないこともわかっていました。

上記の課題に基づいて、Evan は OpenAI が学んだ教訓を共有しました。

この問題を単なる研究プロジェクトとしてではなく、システムエンジニアリングの課題として捉えてください。キャッシュ、ネットワーク、バッチサイズなど、さまざまなシステムコンポーネントの調整を最適化する必要があります。
GPU メモリ帯域幅、ops/バイトなどがパフォーマンスに与える影響など、ハードウェアの根本的な詳細とそれがシステムに与える影響について深く理解する必要があります。表面的な指標だけにとどまることはできません。
システムはモデルやシナリオの変更に応じて常に調整されており、モデル構造や使用シナリオが異なると、システムに対する要件も異なります。
メモリとコンピューティング能力のバランス、容量拡張の制限など、さまざまなハードウェアの制限を考慮する必要があり、これらは製品ロードマップに影響を及ぼします。従来のクラウド拡張の経験をそのまま適用することはできません。