機械学習に関する12の現実世界の真実

導入

現実世界で働くときには、直面しなければならない事実がいくつかあります。この記事ではそれについて説明します。

[[312998]]

先月、親しい友人の集まりで非公式の講演をしたときに、このトピックを書き留めました。この投稿は主に、機械学習を使用して何かを構築する人々を対象としており、機械学習を研究する人々を対象としていません。ただし、後者のグループは、これらの自明の理に耳を傾け、自分の仕事について熟考するとよいでしょう。

0. あなたは科学者ではない

はい、あなたの肩書きは「科学者」ですが、これには博士号を持つ人やこの業界に携わる学者もすべて含まれます。ただし、機械学習 (および NLP、ビジョン、音声などの他の AI アプリケーション領域) は、科学研究ではなく、エンジニアリング研究分野です。

科学的研究と工学研究の違いは何かと疑問に思うかもしれません。ジョージ・A・ヘイゼルリッグは著書「提案書作成スキルを磨く」の中でこう書いています。

科学者の中には、研究計画を立てる方法を学ぶ人もいます。博士レベルのエンジニアはほとんどいません。まず、科学研究と工学研究の違いを理解してみましょう。私にとって、その違いは明らかです。科学者は自然の根本的な性質を理解するために、自然の本質を理解しようと努めます。これを実現するために、科学者は通常、外部の影響を取り除き、自然の非常に狭い要素まで掘り下げます。これがいわゆる自然の法則です。エネルギーと質量は同じであり、すべての作用には等しく反対の反応がある、などです。いつでもどこでも適用される自然法則は数多くあります。エンジニアは自然の法則に従います。彼らには選択の余地がなかった。彼らの目標は、自然が許す限界内で機能するものを設計することです。そのためには、システムの動作を予測できなければなりません。したがって、エンジニアが直面している大きな問題は、すべての自然法則が常にどこでも適用されるシステムの動作をどのように理解し、予測するかということです。それは統合の問題であり、そもそもパターンを見つけることと同じくらい難しいのです。常にすべての自然法則を考慮することは不可能です。したがって、エンジニアは、どの法則が重要でどの法則を無視できるかを判断する方法、そして時間と空間の両方で重要な法則を近似する方法を見つけなければなりません。エンジニアの仕事は未来を予測することだけではありません。彼らは、自分たちの予測が正確かつ確実であるはずがないことを承知した上で、予測に基づいて意思決定を行います。数学を理解して応用することも重要です。これには、確率論、意思決定理論、ゲーム理論、最適化、制御理論、およびエンジニアリングの意思決定コンテキストへのその他の数学の応用が含まれます。これは工学研究の正当な分野でもあります。

ML の研究者および実践者としては、（多くの研究論文が行っているように）自分が持っているモデルに適したデータセットではなく、自分が持っているデータに適したモデルについて考える必要があります。 「このモデルに適したデータセットは何か」と自問したことがあるなら、それは現実の世界ではありません。現実世界とはいったい何でしょうか? 現実世界では、処理するデータについて選択の余地はありません。ここでは、データが問題を定義するのであって、その逆ではありません。現実世界では、ML 実践者がモデリングの遊び場として独自の世界を作成し、NLP を行うための言語を「発明」したり、仮定を単純化して強化学習のための閉じた環境を作成したりして、自分が「科学者」であるかのようにふるまうことがあります。これらの研究は興味深い結果を生み出しますが、研究者が論文の中でそれを現実世界に応用できると宣伝したとしても、その範囲は研究が行われた世界に限定されます。現実の世界では、入力の分布は変化する可能性が高く、長い尾を持つ「カーブボール」がどこからともなく現れ、必ずしも答えが得られるとは限りません。

現実世界で働くときには、直面しなければならない事実がいくつかあります。この記事ではそれについて説明します。しかし、このオープニングは不可欠です。現実世界で ML 研究を行う場合、あなたは科学者ではなくエンジニアです。

1. 仕事ができる必要がある

これは十分単純なことのように聞こえますが、初心者でも経験者でも、派手な名前や、DeepMind、OpenAI、スタンフォード、MIT などから提供されているという理由で惹きつけられる人がいかに多いかに驚きます。モデルが本当にデータセットと環境およびリソースの制約内でのみ機能できる場合、現実世界はそれを容赦なく拒否します。 arXiv 上の多くの結果は、少数のデータセットでのみ機能するか、Google のインフラストラクチャのみがサポートできる 100 メガヘルツの GPU でのみ機能します。コミュニティのためにも、一般的な結果の投稿はやめましょう。それは機能するはずです。これは、今日、畳み込みニューラル ネットワークなしでコンピューター ビジョンで何かを行うことを検討しない理由、またはシーケンス モデルで注意を使用するのが非常に簡単な理由でもあります。それは機能するはずです。

推測: 非常に多くの人々、特に ML 初心者は派手なモデル名に夢中になり、すぐに試してみたり、ブログ記事を書いたりしたくなります。これは、書き方を学び始めたばかりの人のような気がします。彼らは、華やかな言葉を使うと文章がよくなると考えていますが、経験からそうではないことが分かります。

2. どんなに努力しても、何を優先しても、光の速度を上げることはできない

キャッシュ階層は固定されており、その前提内で作業する必要があり、ネットワークのオーバーヘッドにより分散トレーニングが遅くなり、ベクトルに詰め込める量には限りがある、などです。

3. 十分な推進力があれば豚は非常に高く飛ぶことができるが、これは必ずしも良い考えではない。

大学院生や、巨大なデータセンターの大規模なハイパーパラメータ スキャナーは、非常に複雑なモデルをうまく機能させたり、優れた結果を生み出したりするハイパーパラメータのセットを見つけることができます。しかし、現実世界ではそれほど大きなモデルをデバッグしている人はいません。企業の ML チームの管理を支援しているときに私が発見した秘密は、ほとんどの人がハイパーパラメータの調整について知らない、または気にしていないということです。

4. 人生には、自分で経験してみなければ、十分に理解したり評価したりできないものもあります。

機械学習には、実稼働の ML モデルを構築も維持もしていない人には決して完全に理解できないことがいくつかあります。どれだけのコースウェア、どれだけの MOOC、どれだけの Kaggling をしても、これに備えることはできません。モデルを展開し、ユーザーがモデルと対話する様子を観察し、コード/モデルの分解に取り組むことなどに代わるものはありません。

5. 複数の独立した問題を、複雑で相互依存的なソリューションにまとめることは常に可能です。ほとんどの場合、これは悪い考えです。

エンドツーエンドの学習は理論的には良いアイデアのように思えますが、ほとんどの展開シナリオでは、部分的に最適化されたパイプライン アーキテクチャが今後も採用されるでしょう。これは、エンドツーエンドのシステムがまったくなくなることを意味するものではありません (音声認識や機械翻訳には、エンドツーエンドの優れた実稼働価値のあるソリューションがあります)。ただし、ほとんどの場合、観測可能なデバッグ パスがあれば、他の方法よりも優れています。

6. 問題を解決するよりも、問題を先送りしたり無視したりする方が簡単です。

たとえば、音声では音響モデリングは困難ですが、音声認識などの別の問題を解決するアプローチでは、ネットワークにこれらの詳細を理解させることができます。 NLP では、解析を正しく行うことは困難です。しかし幸いなことに、現実世界のタスクの 99% では、解析を行う必要はありません。

結論: 必要がない限り、問題を解決しないでください。

7. 常にトレードオフをしなければならない

速度とメモリ、バッテリー寿命と精度、公平性と精度、実装の容易さと保守性、…

8. すべてはあなたが思っているよりも複雑です

買い物をするときの価格ショックと同様に、「努力ショック」も働いています。経験豊富な研究者やエンジニアのほとんどは、大規模なデータセットを扱うというエンジニアリング上の問題を過小評価したため、取り組んでいるドメインの複雑さを過小評価したため、または敵を過小評価したために、「労力ショック」を経験しています。ほとんどの論文は、成功が何百万もの失敗の結果であるという事実を無視して、読者にとって読みやすいように書かれています。したがって、論文は研究ではなく、研究を行った結果です。そのため、論文を読むことで、研究を行うプロセスを常に体験することができます。

9. 準備は決してできない

これはポイント 8 と組み合わせることができ、リモート呼び出しの成功したモデルは適切に計画されていない場合、その成功によって崩壊する可能性があるという事実と組み合わせることができます。

10. すべての人に当てはまる方法はなく、あなたが最善を尽くしたとしても、モデルは恥ずかしいミスを犯し続けるでしょう。

コーナーケースとロングテール障害モードがあなたを悩ませるでしょう。ありがたいことに、多くの重要でない ML デプロイメントでは、これは大きな問題ではありません。最悪の場合、面白いツイートになります。しかし、医療やその他の高リスクの状況で働いている場合、ML の導入は悪夢になる可能性があります。

11. 古いアイデアはどれも、それが機能するかどうかに関係なく、別の名前と別の形で再び持ち出されます。

シムドフーバー氏はもっと重要な点を指摘しているのかもしれない。誰も彼の言うことに耳を傾けず、彼と同じように、私たちも古いワインを新しいボトルに詰め直し、間違った歴史を繰り返さざるを得ないのです。

12. 完璧とは、加えるものが何もなくなったからではなく、取り除くものが何もなくなったから達成されるのです。

これは人生のあらゆることに当てはまりますが、現実世界の機械学習にも当てはまります。残念なことに、私たちのカンファレンスレビューは「目新しさ」に偏り、そもそも存在する必要のない大量のゴミを含む、不要な arxi スパムを生成してしまいます。 「科学」を行うことで、新しいことよりも効果的なことの推進が促進されない限り、この状況は変わらないと思います。