NLP タスクに最適な 6 つの Python ライブラリ

この記事では、自然言語処理タスクに最適な 6 つの Python ライブラリを紹介します。初心者でも経験豊富な開発者でも、NLP 分野での実践的な能力を向上させるためのインスピレーションと助けを得ることができます。

1. ピュンルピル

Pynlpir は優れた Python 中国語自然言語処理ライブラリです。単語の分割、品詞のタグ付け、固有表現の認識など、さまざまな機能を提供します。 Pynlpir のインストールと使用は比較的簡単で、pip パッケージ マネージャーを通じてインストールできます。 Pynlpir ライブラリをインポートすると、中国語テキスト処理用の関連関数を Python コード内で簡単に呼び出すことができます。

以下は、Pynlpir を使用した中国語テキスト分割のサンプル コードです。

 import pynlpir # 输入文本进行分词text = "这是一段中文文本，我们使用pynlpir进行分词" result = pynlpir.segment(text) print(result)

実行結果は次のとおりです。

 [('这是', 'r'), ('一', 'm'), ('段', 'q'), ('中文', 'nz'), ('文本', 'n'), ('，', 'w'), ('我们', 'r'), ('使用', 'v'), ('pynlpir', 'nz'), ('进行', 'v'), ('分词', 'n')]

2. 多言語話者

Polyglot は、さまざまな自然言語処理 (NLP) 操作を実行するためのオープンソースの Python ライブラリです。 Numpy をベースにしており、優れたパフォーマンスと多数の特殊なコマンドを備えています。

Polyglot が NLP で非常に便利な理由は、幅広い多言語アプリケーションをサポートしているためです。ドキュメントによると、Polyglot は 165 言語での単語分割、196 言語での言語検出、16 言語での品詞タグ付けをサポートしています。

以下は、Polyglot を使用して中国語の単語分割を実行するためのサンプル コードです。まず、Polyglot の Text クラスをインポートし、次に Text オブジェクトを作成して中国語のテキストを渡します。 Text オブジェクトの words プロパティにアクセスすることで、テキストの単語分割結果を取得できます。最後に、トークン化の結果を反復処理し、各トークンを出力します。

 from polyglot.text import Text text = Text("我喜欢使用Polyglot进行中文文本处理。") tokens = text.words for token in tokens: print(token)

出力は次のようになります。

我喜欢使用Polyglot进行中文文本处理。

3. パターン

Pattern は、自然言語処理 (NLP)、データ マイニング、ネットワーク分析、機械学習、視覚化などのタスクのための強力な Python ライブラリです。開発者がテキスト データを処理し、関連する分析を実行できるようにするための一連のモジュールとツールを提供します。

以下は、パターン ライブラリを使用した簡単なテキスト処理のサンプル コードです。

 from pattern.en import sentiment, pluralize # 文本情感分析text = "I love Pattern library!" sentiment_score = sentiment(text) print(f"Sentiment Score: {sentiment_score}") # 复数形式转换word = "apple" plural_word = pluralize(word) print(f"Singular: {word}") print(f"Plural: {plural_word}")

出力は次のようになります。

 Sentiment Score: (0.5, 0.6) Singular: apple Plural: apples

4. サイキットラーン

scikit-learn は、もともと SciPy ライブラリのサードパーティ拡張機能として登場した Python ライブラリです。現在は独立した Python ライブラリとなり、Github でホストされています。 Spotify のような大企業で広く使用されており、使用すると多くのメリットがあります。まず、スパム検出、画像認識、予測、顧客セグメンテーションなどのタスクなど、従来の機械学習アルゴリズムに非常に役立ちます。

さらに、scikit-learn はテキスト分類などの自然言語処理 (NLP) タスクにも使用できます。テキスト分類は教師あり学習における最も重要なタスクの 1 つであり、scikit-learn はテキスト分類をサポートする豊富な機能を提供します。もう 1 つの重要なアプリケーション シナリオは感情分析です。感情分析では、データ分析を使用して意見や感情を分析します。Scikit-learn は感情分析に役立ちます。

ここでは、scikit-learn を使用して中国語のテキスト特徴値を抽出します。コードは次のとおりです。

 from sklearn.feature_extraction.text import CountVectorizer def count_chinese_demo(): data = ["我爱吃火锅", "我爱喝奶茶"] # 1.实例化一个转换器类transfer = CountVectorizer() # 2.调用fit_transform() data_new = transfer.fit_transform(data) # CountVectorizer()不可以设置sparse矩阵# toarray()方法可以将sparse矩阵转成二维数组print("data_new:\n", data_new.toarray()) print("特征值名称：\n", transfer.get_feature_names_out()) if __name__ == "__main__": count_chinese_demo()

出力：

 data_new: [[1 0] [0 1]]特征值名称： ['我爱吃火锅' '我爱喝奶茶']

5. テキストブロブ

TextBlob はテキスト データを処理するための Python ライブラリです。品詞タグ付け、名詞句抽出、感情分析、テキスト翻訳、分類などの一般的な NLP タスクを詳しく調べるために使用できるシンプルな API を提供します。

以下は、TextBlob を使用して感情分析を実行し、結果を出力するサンプル コードです。

 from textblob import TextBlob text = "I love this product! It's amazing." blob = TextBlob(text) sentiment = blob.sentiment.polarity if sentiment > 0: print("Positive sentiment") elif sentiment < 0: print("Negative sentiment") else: print("Neutral sentiment")

6. パイトーチ

PyTorch は、Facebook の人工知能研究チームによって 2016 年に作成されたオープンソース ライブラリです。このライブラリの名前は、Lua プログラミング言語で書かれたディープラーニング フレームワークである Torch に由来しています。 Pytorch は多くのタスクを実行でき、特に NLP やコンピューター ビジョンなどのディープラーニング アプリケーションに適しています。ライブラリを拡張するために使用できる強力な API と、自然言語処理ツールキットを備えています。