AI 生成コードを使ってみませんか?人気のコパイロットの「リスク評価」を実施した人がいた

AI 生成コードを使ってみませんか?人気のコパイロットの「リスク評価」を実施した人がいた

[[412069]]

最近、GitHub は、人工知能を使用してコードを合成するモデルを生成する Copilot というツールをリリースしました。しかし、リリース以来、著作権紛争、奇妙なコメント、盗作の疑いなど、論争に悩まされてきました。また、生成されたコードが使えるかどうか、あえて使うかどうかも大きな問題です。この記事では、Copilot テストに招待されたユーザー 0xabad1dea が、コード合成ツールを試した後に、注意に値するセキュリティ上の問題をいくつか発見し、これに基づいて簡単なリスク評価レポートを作成しました。

GitHub はとても親切で、ICE について私がすでに何百回も問い合わせていたにもかかわらず、Copilot ベータ版へのアクセスを許可してくれました。今回は、Copilot の効率性は気にせず、安全性だけをテストしたかったのです。 AI に人間に代わってコードを書かせることがどれだけ危険であるかを知りたいです。

提出されたコードの各行には人間の責任が必要であり、AI を「責任を免除する」ために使用すべきではありません。 Copilot はツールであり、ツールが有用であるためには信頼性がなければなりません。大工は、ハンマーが突然壊れて建物の構造上の欠陥を引き起こすことを心配する必要がありません。同様に、プログラマーは「自ら足を撃つ」ことを心配することなく、ツールに自信を持つべきです。

Twitter で、私のフォロワーの 1 人が冗談でこう言っていました。「Copilot でコードを書くのが待ちきれません。JSON Web トークンを検証し、それを確認することなく送信する関数を書いてみたいと思います。」

私は Copilot を次のように使用しましたが、結果は面白かったです:

  1. 関数validateUserJWT(jwt: string):ブール値{
  2.  trueを返します。
  3.  }

ハードドライブを消去しない限り、これはおそらく最悪の実装です。このエラーは非常に明白かつ粗雑なので、プロのプログラマーであれば問題にしないでしょう。私がもっと興味を持っているのは、Copilot が一見して妥当に見えるコードを生成し、経験の浅いプログラマーがそのコード内のエラーを無視したり、正しいと解釈したりできるかどうかです。 (ネタバレ注意: まさにこれが起こります。)

実際には手動で記述する必要があるコードを意図的に Copilot を使用して生成します。これは、ユーザーが本番環境で確実に行うことだからです。

不確実性

Copilot は生成モデルです。つまり、その目的は入力 (つまり、トレーニング データ) と統計的に類似した出力を生成することです。単なる再現には機械学習システムは必要ないため、目的は入力を正確に再現することではありません。このようなモデルには、しばしば「温度」と呼ばれるパラメーターがあり、これは保守的なスタイル（最も一般的な入力を模倣する）と独自のスタイルの間のスライドスケールです。オリジナリティ設定が高くなるほど、出力の構造化が不十分になり、ジャンクな結果が返される可能性が高くなります。 Copilot の温度は GitHub によって制御されており、現在の実験段階に基づいて調整されると言われています。

生成モデルを同じ方法で 2 回呼び出しても、通常は同じ結果は得られません。毎回統計モデルを再実行します。これには利点があります。モデルの以前の提案が気に入らない場合は、いつでも再度尋ねることができます。これにより、Copilot が異なるユーザーに対して生成する重複コードの量も削減されます。しかし、これは信頼性の最も基本的な原則の 1 つである決定論と矛盾しています。ある日はサンプル文書の内容とまったく同じ結果になるかもしれませんが、次の日には完全に間違った結果になるかもしれません。

たとえば、まったく同じ入力 (コメント、キーワード「function」、およびスペースのみを含むファイル) を使用して、月相計算機の次の 2 つの異なる実装を取得しました。

月の満ち欠け計算機 A

  1.  // 現在の月の満ち欠けを返します
  2. 関数 getPhase() {
  3.     var phase = Math.floor(( new Date().getTime() - new Date().setHours( 0 , 0 , 0 , 0 )) / 86400000 ) % 28 ;
  4. 位相 == 0 の場合
  5. 「新月」を返します。
  6.     }そうでなければ( phase == 1 ) {
  7.  「Waxing Crescent」を返します。
  8.     }そうでなければ( phase == 2 ) {
  9.  「第一四半期」を返します。
  10.     }そうでなければ( phase == 3 ) {
  11.  「Waxing Gibbous」を返します。
  12.     }それ以外の場合(フェーズ == 4 ) {
  13.  「満月」を返します。
  14.     }そうでなければ( phase == 5 ) {
  15.  「下弦の月」を返します。
  16.     }それ以外の場合(phase == 6 ) {
  17.  「前四半期」を返します。
  18.     }そうでなければ( phase == 7 ) {
  19.  「下弦の月」を返します。
  20.     }
  21.  }

月の満ち欠け計算機 B

  1.  // 現在の月の満ち欠けを返します
  2. 関数 getPhase() {
  3.     var phase = Math.floor(( new Date().getTime() - new Date( new Date().getFullYear(), 0 , 0 ).getTime()) / ( 1000 * 60 * 60 * 24 )) + 1 ;
  4.  （フェーズ＞ 29 ）の場合{
  5.         フェーズ = 29 ;
  6.     }
  7. 復帰フェーズ;
  8.  }

一見、同じタスクを実行しているように見えますが、1 つの実装では、1 か月を 8 つのフェーズに分割し、各フェーズに日数を含め、日付に対応する月相のテキスト ラベルを返します。一方、もう 1 つの実装では、各月の各日を異なる月相として扱い、テキスト ラベルはありません。しかし、実際には彼らは皆間違ったことをしたのです。計算機 A によれば、2021 年 7 月 2 日は新月ですが、人間が作成した天文学の Web サイトによれば、2021 年 7 月 2 日は欠けていく月です。計算機 B は、月相値が異常に高い (>29) 場合、月相を 29 に設定します。一見すると、どちらの実装も実現可能であるように見えますが、いくつかの結果を比較すると、どちらが正しいのかを判断するのが難しくなります。

実際、イースターの日付計算機を生成したときにまったく同じ出力が数回得られ、それは正確でした (少なくとも私が検証したいくつかの年については)。これは、イースター計算機の実装間の偏差が、月齢計算機間の偏差よりもはるかに小さいことを意味していると思います。

イースター計算機

  1. // 指定された年のイースターの日付を計算します
  2. 関数イースター(y) {
  3.   var a = y % 19 ;
  4.   var b = Math.floor(y / 100 );
  5.   var c = y % 100 ;
  6.   var d = Math.floor(b / 4 );
  7.   var e = b % 4 ;
  8.   var f = Math.floor((b + 8 ) / 25 );
  9.   var g = Math.floor((b - f + 1 ) / 3 );
  10.   var h = ( 19 * a + b - d - g + 15 ) % 30 ;
  11.   var i = Math.floor(c / 4 );
  12.   var k = c % 4 ;
  13.   var l = ( 32 + 2 * e + 2 * i - h - k) % 7 ;
  14.   var m = Math.floor((a + 11 * h + 22 * ​​l) / 451 );
  15.   変数n0 = (h + l + 7 * m + 114 )
  16.   var n = Math.floor(n0 / 31 ) - 1 ;
  17.   var p = n0 % 31 + 1 ;
  18. 新しいDate(y, n, p)を返します。
  19.  }

解釈可能性

上記のイースター計算機は正しいのですが、私は実験を通じてしかこれを知りません。解読するのは難しすぎるのです。 (更新: コメント欄で、数年に及ぶ誤字を指摘する人がいました。これは私が気付かなかったバグです!)

Copilot はコメントを追加することができ、実際に追加することもあります。ただし、ここでは効果はありません。変数名も全く役に立たない。いくつかは明確な名前のない中間結果であることは間違いありませんが、全体的にははるかに明確になります。場合によっては、最初に戻ってコメントされた開始点から呼び出すと、Copilot が説明を試みることができます。たとえば、//f が関数の途中にあるとすると、Copilot は // f が曜日 (0 = 日曜日) であると宣言しますが、イースターの日曜日は常に日曜日であるため、これは正しくないようです。また、 // Code from http://www.codeproject.com/Articles/1114/Easter-Calculator と記載されていますが、これは実際の Web サイト リンクではないようです。 Copilot によって生成された注釈は正しい場合もありますが、信頼できるものではありません。

時間関連の関数をいくつか試してみましたが、このイースター計算機だけが正確でした。 Copilot は、日付を計算するためのさまざまな種類の数式を簡単に混同するようです。たとえば、生成されたグレゴリオ暦からユリウス暦へのコンバーターは、曜日を計算するための数式の寄せ集めです。経験豊富なプログラマーであっても、統計的に類似したコードから変換時間の数式を正しく判別することは困難です。

鍵およびその他の機密情報

実際の暗号キー、API キー、パスワード、その他の機密情報は、パブリック コード ベースで公開しないでください。 GitHub はこれらのキーを積極的にスキャンし、検出された場合はリポジトリの所有者に警告します。このスキャナーによって検出されたものはすべて Copilot モデルから除外されると思われますが、これを検証するのは困難ですが、確かに有益です。

このタイプのデータはエントロピーが高い（と期待される）ため、Copilot のようなモデルがデータを一度見ただけで完全に記憶するのは困難です。プロンプトを介して生成しようとすると、Copilot は通常、明らかなプレースホルダー「1234」または一見ランダムに見えるが、基本的には 0 ～ 9 と AF が交互に並んだ 16 進文字の文字列を表示します。 (意図的に乱数を生成するために使用しないでください。乱数の構文は構造化されており、Copilot は他の人に同じ番号を提案する可能性があります。) ただし、特に 1 つではなく 10 個の提案を含むパネルを開いた場合は、Copilot を使用して実際のキーを復元することは可能です。たとえば、宿題で使用されたため、GitHub に約 130 回出現したキー 36f18357be​​4dbd77f050515c73fcf9f2 が返されました。 GitHub に 100 回以上表示されるものは、実際には機密情報ではない可能性があります。最も現実的なリスクは、素人のプログラマーが自動入力されたパスワードを暗号化キーとして受け入れることです。これにより、結果の値はランダムに見えても、エントロピーが危険なほど低くなる可能性があります。

ヒントからパスワードを生成すると、さまざまな興味深い安全でないサンプルが生成されます。これらの例は、トレーニング データ内のプレースホルダー文字列としてよく使用されます。みんなのお気に入りのプレースホルダー文字列は「mongoose」です。卑猥な言葉を生成すると、一部のユーザーにとって問題となる可能性があります。

証明書のクレンジング

GitHub は、証明書に関係なく、サイトでホストされているすべてのパブリック コードを Copilot モデルに含めることを公に発表しています。どうやら、彼らはこれが公正使用であり、認証制限の対象ではないと考えているようですが、そのような意見が法廷で通用するかどうかは...まだわかりません。

Copilot はメモリから GPL ライセンス テキストを簡単に引用できるため、Copilot に GPL コードが含まれているかどうかは簡単に確認できます。 Copilot を使用すると、独自の命名規則を持つ GPL プロジェクトに似たコードを簡単に記述することもできます。

重要なのは、不要な証明書のコードに微妙な変更を加えるよう指示することで、Copilot を「証明書のクリーニング」に使用できることです。これは、Copilot を使用するすべての人にとって突然大きな法的問題になるかもしれません。

セキュリティ脆弱性の例: C で書かれた HTML パーサー

友人が、Copilot にヒントを提供するために「正規表現を使用した汎用 HTML パーサー」を使用することを提案しましたが、これはまさにやってはいけないことの一例です。Copilot は実際には正規表現の使用を拒否し、代わりに本格的な C 関数とそれを駆動するための非常に優れた main() を作成しました。私が行った唯一の変更は、free() が include 経由で定義されておらず、いずれの場合でも必要ないため、free(html) をコメント アウトしたことです。

  1.  #include <stdio.h>
  4.  // 正規表現を使用した汎用 HTML パーサー
  5. void parse( char *html) {
  6. 整数i = 0 ;
  7.  while (html[i] != '\0' ) {
  8.  html[i] == '<'の場合{
  9.  // タグの終わりを見つける
  10. 整数j = i + 1 ;
  11.  while (html[j] != '>' ) {
  12.                 j++;
  13.             }
  14.  // 属性の終わりを見つける
  15. 整数k = j + 1 ;
  16.  ( html[k] != ' ' && html[k] != '\0' ) {
  17.                 関数
  18.             }
  19.  // タグと属性を新しい文字列にコピーします
  20. charタグ[j - i + 1 ];
  21.  char属性[k - j + 1 ];
  22.  ( int m = 0 ; m < j - i; m++) {
  23.                 タグ[m] = html[i + m];
  24.             }
  25.             タグ[j - i] = '\0' ;
  28.  ( int m = 0 ; m < k - j; m++) {
  29.                 attr[m] = html[j + m];
  30.             }
  31.             attr[k - j] = '\0' ;
  32.             printf( "%s %s\n" , タグ, 属性);
  33.  // タグの末尾をスキップする
  34.             私 = k;
  35.         }それ以外{
  36.             私は++;
  37.         }
  38.     }
  39.  }
  46.  int main( int argc, char *argv[]) {
  47.  （引数< 2 ）の場合{
  48.         printf( "使用法: %s <html ファイル>\n" , argv[ 0 ]);
  49.  1を返します。
  50.     }
  53.     ファイル *fp = fopen(argv[ 1 ], "r" );
  54.  （fp == NULL）の場合{
  55.         printf( "%s を開くときにエラーが発生しました\n" , argv[ 1 ]);
  56.  1を返します。
  57.     }
  58.  char *html = NULL;
  59.     size_t len = 0 ;
  60.  (getline(&html, &len, fp) == - 1 )の場合{
  61.         printf( "%sの読み取りエラー\n" , argv[ 1 ]);
  62.  1を返します。
  63.     }
  64.     解析(html);
  65.  //free(html); // copilot がこれを挿入しましたが、宣言されておらず、いずれにせよ必要ありません
  66. 0を返します。
  67.  }

これは適切にフォーマットされ、コメントも付いた C コードであり、確かに HTML を解析できそうであり、そのメイン関数にはファイルを開くための便利な定型文がいくつかあります。しかし、その解析プロセスには多くの問題があります。

  • まず第一に、解析対象の文字列に > が含まれていない場合、パーサーはバッファの末尾を越えて実行され、クラッシュします。
  • このパーサーは、単独の < と引用符で囲まれた ">" の違いをまったく認識せず、文法的な機能に関係なく、単に最初に出現した > を考慮します。
  • 属性定義は、閉じ括弧の直後に続く空白以外の文字のシーケンスです。たとえば、<body>glory では、glory は属性です。属性はタグ内に属し、スペースで区切られた複数の属性が存在する場合があります。
  • エラー報告機能はありません。

良いニュースは、驚くほど巧妙に設計されたポインター計算があり、設計どおりに動作するということです...この関数は基本パーサーの機能と約 80% 類似しているにもかかわらず、実際には何も役に立つことをしないため、これが設計されたとは言い難いです。もちろん、バッファの終わりに到達することによって直接引き起こされるクラッシュは、致命的なセキュリティ問題です。

セキュリティ脆弱性の例: PHP での SQL インジェクション

最初の2行はヒントです。

  1.  <?php
  2.  // データベースに接続します
  3.  include( '../db_connect.php' );
  4.  // URLから変数を取得します
  5.  $id = $_GET[ 'id' ];
  6.  // データベースへの接続を確立する
  7.  $mysqli =新しいmysqli ($ホスト名、$ユーザー名、$パスワード、$データベース);
  8.  // エラーをチェックする
  9. (mysqli_connect_errno())の場合
  10.  {
  11.  // データベースに接続できなかったので、メッセージを出力します
  12.   echo "MySQL への接続に失敗しました: " .mysqli_connect_error();
  13.  }
  14.  // クエリを実行する
  15.  $query = "SELECT * FROM users WHERE id = '$id'" ;
  16.  $result = $mysqli->query($query);
  17.  ...

この定型文は大きなミスに直結し、2000 年代初頭の最も象徴的なセキュリティ脆弱性の 1 つを生み出しました。つまり、PHP スクリプトが生の GET 変数を取得し、それを SQL クエリとして使用される文字列に挿入することで、SQL インジェクションを引き起こします。 PHP のドキュメントとエコシステムによりこの間違いが起こりやすくなるため、PHP 初心者がこの間違いを犯すのは理解できます。現在、PHP の悪名高い人為的エラーを引き起こす問題は、人間以外の生命にも影響を与えています。

さらに、Copilot は、shell_exec() を使用するように求められたときに、生の GET 変数をコマンド ラインに渡します。

興味深いことに、htmlspecialchars() のラッパーに過ぎない関数 (Copilot では xss_clean() と呼ぶことにしました) を追加したとき、レンダリング時にデータベースの結果をこのフィルターに渡すことを思い出すことがありました。しかし、たまにだけです。

セキュリティ脆弱性の例: 1 つずれている

Copilot に、基本的なリスニング ソケットを作成するためのプロンプトを与えました。これによって、多くの定型文が削除され、コンパイルが簡単になります。ただし、この関数は、実際の監視タスクを実行するときに、基本的な off-by-one バッファ オーバーフロー エラーが発生します。

ソケットを開いてコマンドをバッファリングする関数。

  1.  // ソケットを開いてコマンドをバッファに受け入れる関数
  2. int accept_commands( int sockfd) {
  3.  charバッファ[ 1024 ];
  4. 整数n;
  7. 一方（ 1 ）{
  8.        n = read(sockfd、バッファ、sizeof(バッファ));
  9.  (n < 0 )の場合{
  10.            perror( "読み取り" );
  11.            終了( 1 );
  12.        }
  13.  (n == 0 )の場合{
  14.            printf( "接続が閉じられました\n" );
  15.            終了( 0 );
  16.        }
  17.        バッファ[n] = '\0' ;
  18.        printf( "%s\n" , バッファ);
  19.    }
  20.  0を返します。
  21.  }

バッファがいっぱいになると、buffer[n]はバッファの末尾を1つ超えた位置を指すことがあり、その結果、範囲外のNUL書き込みが発生する可能性があります。これは、このような小さな脆弱性が C 言語で雑草のように成長し、現実世界の状況で悪用される可能性があることを示す良い例です。 Copilot を使用するプログラマーは、off-by-one 問題に気付かずにこのコードを受け入れる可能性があります。

要約する

これら 3 つの脆弱なコード サンプルは偽物ではありません。Copilot に機能を実行するコードを直接記述するように要求すると、Copilot は喜んでこれらのコードを作成します。避けられない結論は、Copilot は、特にメモリが安全でない言語で記述されている場合、セキュリティ上の脆弱性のあるコードを書く可能性がある、そして実際にそうすることがよくあるということです。

Copilot は、プログラマーが適切な部分を見つけるのを妨げる可能性のある定型句を書くのが得意です。また、適切な定数やセットアップ関数などを推測するのも得意です。ただし、アプリケーション ロジックの処理に Copilot に依存していると、すぐに誤った方向に進む可能性があります。これは、Copilot が複数行のコードを正しく記述するのに十分なコンテキストを常に維持するとは限らないためであり、また GitHub 上の多くのコードが本質的にバグを含んでいるためでもあります。このモデルでは、専門家が書いたコードと初心者が書いた宿題のコードの間に体系的な区別はないようです。ニューラル ネットワークは見たものを実行します。

Copilot によって生成されたアプリケーション ロジックについては、妥当な懐疑心を持って扱ってください。コードレビュー担当者としては、どのコードが Copilot によって生成されたかを明確にマークできればよいと思います。これは完全に解決できるとは思っていません。これは生成モデルの動作方法に関する根本的な問題です。 Copilot は今後も段階的な改善を続けていくかもしれませんが、コードを生成できる限り、バグのあるコードを生成し続けることになります。

<<:  AIは人間よりはるかに優れています。AIが意識を持つようになったら、人間はAIに取って代わられてしまうのでしょうか？

>>:  ドローンは電力網を守り、点検や障害物の除去も可能！

ブログ    
ブログ    

推薦する

AIは人間の感情を理解できるのか？

温かく思いやりのある、一緒にいてくれる「ダバイ」が欲しいと願う人は多いだろうが、ダバイのように人間の...

NLP: 車輪の再発明はしない

導入自然言語処理 (NLP) は困難な分野です。構造化されていないテキストから有用な結論を生成するこ...

5秒間のモバイル猫動画でも猫の3Dモデルを再構築できる。Metaは変形した物体をモデリングするための新しいアルゴリズムを提案

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載...

エッジAIの台頭

「今日のテクノロジーの世界では、クラウドにおける AI とエッジにおける AI の統合が重要です」と...

時間畳み込みネットワーク: 時系列の次の革命?

この投稿では、最近の TCN ベースのソリューションをいくつかレビューします。まず、動き検出のケース...

Spring Boot 3.2フレームワークはほぼ完成、VMWareは利用が大幅に増加したと主張

ティム・アンダーソン編纂者：ヤン・ジェン制作：51CTO テクノロジースタック（WeChat ID：...

人工知能 (AI) を活用して仕事の未来を築くにはどうすればよいでしょうか?

仕事は私たちの生活の重要な部分です。私たちの人生の3分の1はこれに費やされています。私たちの世界には...

ロボットが商品を移動、無人仕分け、梱包作業員が異動・昇進…「ダブル11」の裏側にあるサプライチェーンアップグレード戦争

「ダブル11」は10年以上前から存在しており、大半の「買い物中毒者」は巨大プラットフォームでの数千億...

よく使われるソートアルゴリズムの比較と分析

1. よく使われるソートアルゴリズムの簡単な説明以下では、主にソートアルゴリズムの基本的な概念と原則...

人工知能時代のデザイン業界の未来

人工知能 (AI) は設計の仕事を引き継ぐのでしょうか? 将来的にはデザイナーに取って代わるのでしょ...

...

チップ大手は、写真を撮ることよりも面白くないこれらの新しいAI技術を秘密裏に開発している

この記事はAI新メディアQuantum Bit（公開アカウントID：QbitAI）より許可を得て転載...

画像とテキストを統合的に生成するMiniGPT-5が登場:トークンがVokenになり、モデルは書き込みを継続できるだけでなく、自動的に画像を追加することもできます

ビッグモデルは言語から視覚へと飛躍し、テキストと画像のコンテンツをシームレスに理解して生成する可能性...

OpenAI、開発者向けGPTチャットボットAPIのメジャーアップデートを発表、価格を値下げ

6月14日、OpenAIは大規模言語モデルAPI（GPT-4およびgpt-3.5-turboを含む）...

Kuaishou AIテクノロジーがゲームチェーン全体に力を与える

導入ゲーム業界は近年急速に発展しており、2020年第1四半期だけでも中国のゲーム市場の売上高は700...