ChatGPT は IT ネットワーク エンジニアの代わりになるのでしょうか?

現代の IT ネットワークは、ファイアウォール、ルーター、スイッチ、サーバー、ワークステーション、その他の機器の複雑な組み合わせです。さらに、現在、ほぼすべての運用環境はオンプレミスとクラウドのハイブリッドになっており、脅威アクターからの攻撃に常にさらされています。これらのテクノロジーを設計、実装、管理する技術者は、ネットワーク エンジニアと呼ばれます。

業界の専門家である Mike Starr 氏の調査結果は次のとおりです。

彼は、ChatGPT がネットワーク エンジニアにどのような価値を付加できるかについて意見を聞きました。ChatGPT は期待を裏切らず、役立つと思われる 3 つの領域を挙げました。

• 構成管理
• トラブルシューティング
• 書類

次に、Starr は一連のプロンプト (もちろん最適化されていない場合もあります) を開発し、ツールが実際にこれらの領域の 1 つ以上でネットワーク エンジニアにとって資産になるかどうかを判断します。

（１）構成管理

ChatGPT が構成管理に付加価値をもたらすかどうかをテストするために、次のプロンプトが送信されました。

• Cisco ルータでインターネット スイッチングを最初から開始するための完全なサンプル構成を生成できますか?
• Juniper の製品についてはどうですか?
• ベンダーごとに Jinja テンプレートを作成することは可能ですか?

ChatGPT テストの結果は非常に広範囲に及んだため、Starr 氏はユーザーが使用できるように、すべての ChatGPT テスト プロンプトと結果の完全な記録を GitHub に公開しました。

したがって、構成管理の場合、ChatGPT は基本的な構成タスクをかなりうまく実行し、ベンダー固有の構文を認識し、構成を生成できるという結論に至ります。ただし、システムによって生成された構成の正確さを慎重に確認する必要があります。テストの一般的なプロンプトは、簡単なラボをセットアップするのと似ています。これは、ほとんどの若いネットワーク エンジニアにとっておそらく面倒な作業であり、明らかにテクノロジによって処理できるものです (この場合も、ある程度の人間の監視が必要です)。

（２）トラブルシューティング

ChatGPT がネットワーク エンジニアリングの課題を解決する能力をテストするために、Starr 氏は Reddit、具体的には /r/networking サブレディットを利用して、ネットワーク エンジニアが同僚に尋ねている実際の問題を探しました。彼は投稿からいくつかの質問を抽出し、最適化のヒントなしで ChatGPT に送信しました。チャットボットは簡単な質問にはうまく対応しましたが、より難しい課題には苦労しました。

注目すべきことに、スター氏は、不要なループを引き起こす可能性のある冗長リンクを識別するスイッチ機能であるスパニング ツリー プロトコル (STP) の理解を必要とする質問を具体的に行いました。スター氏は、ChatGPT は、これまで彼がインタビューしてきた多くのネットワーク専門家よりも、スパニング ツリー プロトコル (STP) について詳しいと語った。

現時点では、ChatGPT は、少し複雑な問題を解決するために経験豊富なネットワーク エキスパートに取って代わることはできませんが、今後数年のうちに多くのサブレディットや StackOverflow スレッドが時代遅れになる可能性があり、これは誇張ではありません。

（３）自動文書化

これは ChatGPT があまり得意ではない分野です。チャットボットは当初、ネットワーク グラフを生成することを約束していました。スター氏は、それがテキストベースのツールであることを知っていたものの、懐疑的だった。彼が図表を生成するように依頼したとき、ChatGPT がグラフ作成機能がないことを説明したことで、その偏見は確信に変わった。

さらに、ネットワークのドキュメント化は、詳細なネットワークの説明の提供を必要とする実装につながることを示唆しています (ChatGPT が確認)。これは明らかに付加価値ではありません。したがって、自動文書化の場合、チャットボットは失敗しただけでなく、嘘や欺瞞も生み出しました (したがって、想像以上に人間の特徴を示している可能性があります)。一般的に、画像を生成できる AI アプリケーションがあり、使用可能なネットワーク グラフを生成できる可能性があります。

Starr 氏は ChatGPT に、ルーターの構成ファイルに基づいてネットワークの説明を生成できるかどうかを尋ねました。ChatGPT は、Cue の計算能力の限界に明らかに達するまで、優れた構成の概要を提供しました。この限界は、おそらく設計者によって認識されていたものです。結局のところ、これは無料のツールであり、特に中小企業にとっては、それを導入するためのリソースは高価です。

結論は

Starr 氏がネットワーク エンジニアリングに ChatGPT を使用するという短い実験中に遭遇した課題には、次のようなものがあります。

• 正確性と一貫性を確保する
• エッジケースと例外の処理
• 既存のシステムやプロセスとの統合

スター氏は、これらの問題は ChatGPT や AI アプリケーション全般に​​特有のものではなく、簡単な調査でその理由を説明できるのではないかと推測しています。コーネル大学の研究者たちは、形式的能力（言語の規則とパターンに関する知識）と機能的能力（現実世界で言語を使用するために必要な一連のスキル）を区別しながら、大規模言語モデル（LLM）を長い間研究してきました。

これらの研究者から得られた教訓は次のとおりです。人々はしばしば、首尾一貫したテキスト生成を思考や知覚とさえ誤解し、「言語が得意 = 思考が得意」という誤解につながります。同様に、大規模言語モデル (LLM) に対する批判は、思考能力 (または数学的処理能力や一貫した世界観の維持能力) の欠如に焦点を当てており、言語学習におけるその目覚ましい進歩が見落とされることがあります。これを「悪い考え方 = 悪い言葉」という誤謬と呼びましょう。

この分析は、Starr が導き出した結論と一致しています。ChatGPT を使用する場合、特異性が最も重要です。複雑なトピックに関する大規模で自由形式のプロンプトは、チャットボットの「機能的能力」の欠如を浮き彫りにしますが、この現実は、特定のタスクにチャットボットを使用するスキルを持つ個人が使用した場合の、その優れた能力を相殺するものではありません。

では、ChatGPT はネットワーク エンジニアに取って代わることができるのでしょうか? まだできません。