NLP の学習を始める準備ができました。体系的に読むべき本やコースは何ですか?

私は、機械学習コミュニティで手動の特徴エンジニアリングが非常に人気があった 2013 年から自然言語処理 (NLP) に取り組んでいます。それ以来、私たちは長い道のりを歩んできました。実は私は博士号取得のために情報検索と機械学習の技術、特にソーシャルコンピューティングと計算言語学への応用を専門に研究し、同時に大規模なテキストベースのデータから効率的に情報を抽出する方法も開発しました。幸運なことに、私は古典的な機械学習を NLP に適用した経験があり、この分野でのディープラーニングの爆発的な成長を目の当たりにしてきました。

多くの学生から、自然言語処理を始めるためのガイドを作成するように依頼されてきました。このブログ投稿は、研究、分野の知識、個人的な経験に基づいて他の人を助けることを目的としています。これは直接的なガイドではありませんが、ここで共有したリソースは、ニーズに基づいて独自の NLP 学習パスを作成するのに役立ちます。これは私が長年にわたって出会った教育リソースの組み合わせになります。これらのリソースとその適用可能性を調査した私の経験を共有します。

このリストは決して網羅的なものではありませんが、いくつかの選択肢を提供し、NLP を始めることに興味がある人にとって良い出発点となるはずです。実際に全部を消費する必要はありません。現在のニーズに合ったリソースを選択するだけです。たとえば、すでにある程度の理論的基礎があり、本番環境で NLP システムを開発するためのベストプラクティスを習得する必要があるだけかもしれません。この場合は、NLP テクニックを実際に体験するための提案に直接ジャンプできます。ここでは私が個人的に勉強したものだけを取り上げています。他にも見逃しているリソースがたくさんあると思いますので、何かご提案がありましたらお気軽にコメントしてください。

音声言語処理

ダン・ジュラフスキーとジェームズ・H・マーティン

基礎を学ぶことは、どんな科目を学ぶにも重要です。これは私にとって効果があるので、強くお勧めします。私はしばらくこの本に注目していましたが、現在第 3 版が出ています。この本で扱われている内容は非常によく書かれており、NLP の優れた理論的基礎を提供します。これは、NLP を学び始めたい人にとって良い出発点となるでしょう。私はすでにこの本を読んでいますが、この分野の最新の動向に合わせて定期的に更新されるため、定期的に読み直すつもりです。この本が本当に気に入ったら、この本で扱われている基本的なトピックの多くを実際にカバーしているこれらの講義も役立つでしょう。

自然言語処理のための言語的基礎: 形態論と統語論の100の基本

エミリー・M・ベンダー

エミリー・ベンダーは私のお気に入りの言語学者の一人です。彼女の仕事は私の研究に大きな影響を与え、NLP 研究に対してより厳密なアプローチを採用できるようになりました。 NLP は言語学の影響を強く受けています。実際、エミリーは言語学のルールを NLP の開発の指針として使うことを提唱しています。彼女の本は、NLP で使用される言語概念の優れた入門書です。これは NLP を学ぶすべての人にとって必読の本です。

言語構造予測

ノア・A・スミス

この本は、自然言語処理と機械学習の関係に焦点を当て、言語構造をモデル化するための統計と計算方法をカバーしています。この本は、読者が機械学習についてある程度の知識を持っていることを前提としています。機械学習を初めて使用する場合は、ここで機械学習の推奨事項のリストを確認してください。この本を最大限に活用するには、少なくとも機械学習の入門コースを受講することをお勧めします。

自然言語処理入門

ジェイコブ・アイゼンシュタイン

これは、言語の概念と応用について議論することに重点を置いているため、私のお気に入りの NLP 本の 1 つです。ビームサーチ、最尤推定、行列分解などの手法をカバーしています。次に、これらの方法を活用して、分類、品詞タグ付け、関係抽出、言語モデリングなどの幅広いタスクを解決する方法について説明します。この本は、読者が多変数微積分と線形代数についてある程度の知識を持っていることを前提としています。この本から直接推薦されている本は、『機械学習のための数学』という本です。これは他の教科書に比べてより高度な内容であり、機械学習と数学の概念に関するある程度の知識が必要です。

自然言語処理におけるニューラルネットワーク手法（人間言語技術に関する総合講義）

ヨアヴ・ゴールドバーグ

NLP の学習を始めたばかりであれば、RNN やその他のディープラーニング ベースのモデルなど、NLP のより現代的なアプローチに触れたことがあるかもしれません。ニューラル ネットワークの理論とそれが NLP でどのように使用されるかについての包括的なレビューをお探しの場合は、この本が最適です。この本に載っている参考文献は私自身の研究に役立ちました。

自然言語処理に応用された最新のディープラーニング技術

ソウジャニャ・ポリアとエルヴィス・サラビア

NLP への現代的なアプローチに関しては、Soujanya Poria と私がまとめたこのオープン リソースもお勧めします。単語埋め込みから注意メカニズム、強化学習まで、NLP 分野における最新の開発のいくつかを紹介します。

CS224N: ディープラーニングによる自然言語処理 | 2019 年冬

クリストファー・マニングとアビゲイル・シー

最近 NLP について学び始めた方は、この人気の NLP コースに出会ったことがあるかもしれません。すべての講義とスライドは公開されており、コースの Web サイトでご覧いただけます。このコースでは、NLP のディープラーニング手法に重点を置いているため、最初の講義では単語埋め込みから直接始まり、その後、畳み込みネットワークやトランスフォーマーなどのより高度なトピックに移行します。古典的な NLP 手法に興味がある場合は、冒頭で紹介した本を読んでみてください。実際、これは実際の NLP システムを構築する上で役立つ貴重な知識なので、これを実行することを強くお勧めします。

このような理論的な知識は有益ですが、NLP 研究者であってもエンジニアであっても、実践的な練習でそれを補う必要があります。これらの本は、言語モデルやテキストベースの分類などのトピックを練習するのに非常に役立つことがわかりました。

PyTorch による自然言語処理: ディープラーニングを使用したインテリジェントな言語アプリケーションの構築

デリップ・ラオとブライアン・マクマハン

この本は PyTorch をベースにしていますが、ディープラーニングを使用した言語アプリケーションの構築を練習するには最適です。さらに、TF-IDF やセマンティクスなど、従来の概念や手法に関するコンテンツやコードもいくつかあります。 PyTorch 開発者であれば、この本は簡単に理解できるでしょう。

自然言語処理の実践

ホブソン・レーン、コール・ハワード、ハンネス・ハプケ著

これはまた別の特別な本であり、NLP に関するあらゆることを実践的に練習できる私のお気に入りの 1 つです。この本では、コーパスからチャットボットの構築に至るまで、最初の語彙を構築する方法をガイドします。この本にはたくさんのコード例が掲載されているので、コードを入力するのが好きな人にはぴったりの本かもしれません。

実践的自然言語処理

ソウムヤ・ヴァジャラ、菩薩マジュムダー、アヌジ・グプタ、ハルシット・スラナ

NLPの実践では、今年出たこの本がとても気に入っています。 NLP のさまざまな実際のアプリケーションから、NLP システムを導入するためのベスト プラクティスに至るまで、さまざまなトピックをカバーしています。私はまだこの本を半分しか読んでいませんが、NLP システムをより効果的に構築する方法や、NLP システムの構築に必要なテクニックを理解したいと考えている NLP エンジニアがたくさんいるので、この本を取り上げざるを得ませんでした。

付録（報酬）

NLP の分野で最新情報を入手するのに役立つその他のリソースとプロジェクトをいくつか紹介します。

• コード付き論文
• arXiv (cs.CL)
• MLで作成
• NLPの進歩
• セバスチャン・ルーダーによるNLPニュース
• エルビス・サラビアによるNLPニュースレター

NLP の学習を始める方法についての私のアドバイスは以上です。自分にとって最適なコンテンツを選択することが重要です。各項目について説明を加え、皆さんが独自の学習パスを作成するのに役立つことを願っています。これらは私が出会った中で最高のリソースの一部であり、研究のアイデアに適用したり、セマンティック検索エンジンから感情分類器までの NLP システムを構築したりすることは言うまでもなく、知識を広げたり、これらの概念を教えたりするのに非常に役立つことがわかりました。

この記事はLeiphone.comから転載したものです。転載する場合は、Leiphone.com公式サイトにアクセスして許可を申請してください。