ChatGPTを使用してPythonクローラースクリプトを自動的に作成する

人工知能チャットボット「ChatGPT」は最近非常に人気が高まっており、あらゆるメディアでそのニュースを見ることができます。 ChatGPT は、大規模な言語モデルに基づいた生成 AI であり、人間の言語に似たテキストを自動的に生成し、整理された論理的な回答を提示することができます。 ChatGPT は、チャット、論文の執筆、詩の創作に加えて、Python コードの作成にも役立ちます。

今日は、ChatGPT を使用して Python クローラー スクリプトを作成する方法についてお話ししましょう。

良い

見るだけではなく、実際にやってみましょう。下の図に示すように、ChatGPTに「Pythonを使用してDouban Movie TOP250のデータをクロールしたいのですが、コードはどのように記述すればよいですか？」と質問したところ、ChatGPTはすぐに答えてくれました。

上記のコードをローカル エディターにコピーして実行すると、結果は印刷されないことがわかります。 print(response)を実行すると、<Response [418]> が返されます。次に何をすればよいでしょうか?もちろん、これからもChatGPTにお願いし続けます！

「先ほどPythonコードを実行すると、レスポンスとして<Response [418]>が返されます。どのように修正すればよいでしょうか？」

今回、ChatGPT はリクエスト ヘッダー情報を追加するという解決策を提示しました。

エディターで Python コードを再度実行すると、出力結果が得られたことがわかります。

写真

上記のように、ChatGPT を使用した簡単なクローラーが完成しました。この例は、多くのクローラー初心者が最初に学ぶケースになると思われます。しかし、この最も単純な例でも、書き込み中にエラーが発生したり結果がなかったりするため、実際には、Python クローラーに関する基本的な知識と ChatGPT を効率的に使用する能力が必要になります。

そのため、私は日常的に、ChatGPT をクローラーの作成の補助として使用しています。例えば、少し難しいPythonクローラーでは、JavaScriptのリバースエンジニアリングが避けられないことが多く、徹底的に習得したい場合には、数百ページもある分厚いクローラー本を勉強しなければならず、習得できないこともあります。

現在、ChatGPT の助けを借りて、js リバース エンジニアリングの問題を効率的に解決できます。

別の例を挙げると、Python でクローラーを作成する場合、テキストからクロールする主要なデータ/テキスト情報を抽出するために正規表現を記述する必要があることがよくあります。

ChatGPT は正規表現を素早く記述するのにも役立ちます。

以下のように、ChatGPT に質問しました。

ショーシャンクの空に 9.7 を抽出できる正規表現を書くのを手伝ってください https://movie.douban.com/subject/1292052/

答えはすぐに出ました。

ChatGPT は万能な従業員のようなものです。私たちが提起するさまざまなプログラミングの問題に対する解決策を提供し、それをコードに実装することができます。

もちろん、上司として、全体のコンセプトを総合的に理解し、判断する必要もあります。