因果推論と正規化がリストに載っています。権威ある専門家が過去 50 年間で最も重要な統計的アイデアをレビューします。

統計は私たちの日常生活のいたるところに存在し、すべての人や物事は統計を使って説明できるようです。人類がビッグデータの時代を迎えるにあたり、統計はあらゆる面で欠かせない役割を果たします。統計的思考は、実際の統計作業や統計理論の応用研究において従わなければならない基本的な概念であり、指針となる理念です。彼らは統計の発展において指導的な役割を果たしてきました。

最近、コロンビア大学とアールト大学の著名な統計研究者2人が、反事実的因果推論、ブートストラップとシミュレーションベースの推論、過剰パラメータ化モデルと正則化、マルチレベルモデル、一般的なコンピューティングアルゴリズム、適応型意思決定分析、ロバスト推論、探索的データ分析など、過去50年間の最も重要な統計的アイデアをまとめた記事を書きました。研究者らは、これらの統計的概念の具体的な概念と発展の歴史を詳しく説明するだけでなく、それらの共通の特徴、現代のコンピューティングやビッグデータとの関係、そして将来どのように発展し拡大していくかについても概説しています。研究者らは、この論文は統計学とデータサイエンスの研究におけるより大きなテーマについての思考と議論を刺激することを目的としていると述べている。

論文リンク: https://arxiv.org/pdf/2012.00174.pdf

この論文はコミュニティ内で白熱した議論を引き起こし、チューリング賞受賞者でありベイジアンネットワークの父であるジューディア・パール氏などの学者がリツイートして独自の意見を表明した。同氏は「この論文には統計的概念の一つとして因果推論が含まれているが、これはシカゴ大学の統計学教授スティーブン・スティグラー氏の著書『統計の七つの柱』の見解とは全く異なる」と述べた。

なお、本稿で挙げた 8 つの統計的考え方は、経験や文献の読み方に基づいて分類したものであり、時系列や重要度順に並べたものではないことに留意してください。これらの統計的考え方は、1970 年以前にも、理論的な統計文献とさまざまな応用分野での実践の両方で前例がありました。しかし、過去 50 年間で、それらはすべて進化し、新しい内容を取り入れてきました。論文に記載されている 8 つの統計的概念を、以下で 1 つずつ説明します。

過去50年間で最も重要な統計的アイデア

反事実的因果推論

この研究は、因果推論の課題を中心に、統計学、計量経済学、心理測定学、疫学、コンピューターサイエンスから生まれたさまざまな視点から始まります。主な考え方は、因果関係の特定が可能であり、設計と分析を通じてこれらの仮説を厳密に述べ、さまざまな方法で対処できるということです。因果モデルを実際のデータに適用する方法についての議論は続いていますが、この分野での過去 50 年間の研究により、因果推論に必要な仮定がより正確になり、その結果、これらの問題に対する統計的手法の研究が促進されました。

因果推論の方法は分野によって異なって発展してきました。計量経済学では、線形モデルからの因果推論の説明に焦点が当てられています (Imbens and Angrist、1994)。疫学では、観察データからの因果推論に焦点が当てられています (Greenland and Robins、1986)。心理学者は、相互作用とさまざまな治療効果の重要性を認識しています (Cronbach、1975)。統計学では、治療グループとコントロールグループの違いを調整および測定するためのマッチングやその他の方法があります (Rosenbaum and Rubin、1983)。コンピューターサイエンスでは、因果推論の多次元モデルに関する研究が数多く行われています (Pearl、2009)。

これらの研究に共通するのは、因果関係の問題を反事実的仮定や潜在的な結果の観点からモデル化することであり、これは記述的推論と因果的推論を明確に区別していなかった以前の基準を超える大きな進歩です。主要な研究には、Neyman (1923)、Welch (1937)、Rubin (1974)、Haavelmo (1973) があり、背景研究には Heckman と Pinto (2015) があります。

ブートストラップとシミュレーションベースの推論

過去 50 年間、統計学では数学的分析を計算に置き換える傾向がありました。ブートストラップを例に挙げると、ブートストラップではいくつかの推定値が定義され、ランダムに再サンプリングされたデータセットに適用されます (Efron、1979、Efron および Tibshirani、1993)。主な考え方は、推定値をデータの近似十分統計値として捉え、ブートストラップ分布をデータの標本分布の近似値として捉えることです。概念レベルでは、バイアス補正や縮小などの統計操作を導き出すための基本原則として、予測と再サンプリングが求められてきました (Geisser、1975)。

計算リソースの増加により、他の関連する再サンプリングやシミュレーションベースの方法も普及しました。順列テストでは、ターゲット値がランダムに変換され、予測値とターゲット値間の依存関係が切断され、再サンプリングされたデータ セットが生成されます。パラメトリック ブートストラップ、事前および事後予測チェック (Box、1980、Rubin、1984)、およびシミュレーション ベースのキャリブレーション (Talts ら、2020) はすべて、データから直接再サンプリングするのではなく、モデルから複製されたデータセットを作成します。

過剰パラメータ化モデルと正規化

1970 年代以降の統計学における大きな変化の 1 つは、データ ポイントの数よりも多くのパラメーターを使用してモデルを適合させ、何らかの正規化手法を使用して安定した推定値と適切な予測を得るという考え方です。多数のパラメータを持つモデルをフィッティングする主な考え方は、過剰適合を回避しながら、ノンパラメトリックまたは高度にパラメトリックな方法の柔軟性を獲得することです。正規化は、予測曲線上のパラメータまたはペナルティ関数として実装できます (Good and Gaskins、1971)。

パラメータが豊富なモデルの初期の例としては、マルコフ確率場 (Besag、1974)、スプライン (Wahba と Wold、1975、Wahba、1978)、ガウス過程 (O'Hagan、1978) があり、その後、分類ツリーと回帰ツリー (Breiman ら、1984)、ニューラル ネットワーク (Werbos、1981、Rumelhart、Hinton、Williams、1987、Buntine と Weigend、1991、MacKay、1992、Neal、1996)、ウェーブレット収縮 (Donoho と Johnstone、1994)、および Lasso/Horseshoe などのその他の最小二乗法のバリエーション (Dempster、Schatzoff、Wermuth、1977、Tibshirani、1996、Carvalho、Polson、Scott、1996) が続きました。サポートベクターマシン（Cortes and Vapnik、1995）および関連理論（Vapnik、1998）に加えて、ニューラルネットワーク（Nano、2010）も開発されました。

これらのモデルはすべて、サンプル サイズと、必ずしも直接解釈できるとは限らず、より大きな予測システムの一部にすぎないパラメーターに応じてスケーリングするという特性を持っています。ベイズアプローチでは、まず関数空間内の事前分布を考慮し、次にモデルパラメータ上の対応する事前分布を間接的に導出することができます。

十分なコンピューティング リソースが利用できるようになるまでは、上記のモデルの多くは使用が制限されます。しかし、過剰パラメータ化されたモデルは、画像認識 (Wu et al.、2004) やディープニューラルネットワーク (Bengio、LeCun、Hinton、2015、Schmidhuber、2015) の分野で進歩し続けています。 Hastie、Tibshirani、および Wainwright (2015) は、この研究の多くをスパース構造の推定と特徴づけていますが、著者らは、データのサポート範囲に適合する密なモデルも含まれるため、正規化という用語の方が適切であると主張しています。この研究の多くは統計学の分野外で行われており、非負値行列分解 (Paatero および Tapper、1994)、非線形次元削減 (Lee および Verleysen、2007)、生成的敵対ネットワーク (Goodfellow ら、2014)、オートエンコーダー (Goodfellow、Bengio、および Courville、2016) などの手法が使用されています。これらはすべて、構造と分解を見つけるための教師なし学習手法です。

統計的手法が進化し、より大きなデータセットに適用されるにつれて、研究者は、スタッキング (Wolpert、1992)、ベイズモデル平均化 (Hoeting ら、1999)、ブースティング (Freund と Schapire、1997)、勾配ブースティング (Friedman、2001)、ランダムフォレスト (Breiman、2001) など、さまざまな推論適合を微調整、適応、組み合わせるさまざまな手法を開発してきました。

マルチレベルモデル

多層または階層モデルのパラメータはグループごとに異なるため、モデルはクラスター サンプリングに対応できます。縦断的研究、時系列横断データ、メタ分析、その他の構造化された設定。回帰のコンテキストでは、マルチレベル モデルは、特定のパラメーター化された共分散構造として、またはパラメーターの数がデータに比例して増加する確率分布として見ることができます。

マルチレベル モデルは、未知の潜在的な特徴や変化するパラメータの確率分布を含んでいるため、ベイズ モデルと見なすことができます。対照的に、ベイズモデルは、与えられたパラメータのデータと与えられたハイパーパラメータのパラメータ分布を持つ、マルチレベル構造を持ちます。

一般的な計算アルゴリズム

モデリングの改善は、最新のコンピューティングによってのみ可能になります。これには、大容量メモリ、高速 CPU、効率的な行列計算、ユーザーフレンドリーな言語、その他のコンピューティング技術革新だけでなく、重要なことに、効率的なコンピューティングのための統計アルゴリズムの改善も含まれます。

過去 50 年間の革新的な統計アルゴリズムは、統計問題の構造に基づいて開発されてきました。統計学の歴史を通じて、データ分析、確率モデル化、コンピューティングの進歩は常に組み合わされ、新しいモデルによって革新的な計算アルゴリズムが可能になり、新しい計算手法によって、より複雑なモデルと新しい推論の視点への扉が開かれました。汎用の自動推論アルゴリズムを使用すると、モデル開発を分離できるため、モデルを変更してもアルゴリズムの実装を変更する必要がありません。

適応型意思決定分析

1940 年代から 1960 年代にかけて、意思決定理論は、効用最大化 (Wald、1949、Savage、1954)、誤り率制御 (Tukey、1953、Scheff´e、1959)、経験的ベイズ分析 (Robbins、1959、1964) を通じて統計に基づくことが多かった。近年では、ベイズ決定理論 (Berger、1985) と偽発見率分析 (Benjamini および Hochberg、1995) に関する研究が続いています。意思決定理論は、ヒューリスティックアルゴリズムと人間の意思決定バイアスに関する外部の心理学的研究の影響も受けています (Kahneman、Slovic、Tversky、1982、Gigerenzer と Todd、1999)。

意思決定を統計の応用分野として考えることもできます。統計的意思決定分析における重要な発展には、ベイズ最適化（Mockus、1974、2012、Shariari et al.、2015）と強化学習（Sutton and Barto、2018）が含まれます。これは、産業界におけるA/Bテスト実験設計の復活と、エンジニアリングアプリケーションにおけるオンライン学習に関連しています。近年の計算科学の進歩により、ガウス過程やニューラルネットワークなどの高度にパラメータ化されたモデルを、適応型意思決定分析機能の事前条件や、AI制御ロボットの作成、テキストの生成、囲碁などのゲームのプレイなどのシミュレーション環境での大規模強化学習に使用できるようになっています（Silver et al.、2017）。

堅牢な推論

堅牢性の概念は現代の統計学の中心であり、仮定が間違っていてもモデルを使用できるという考え方です。現実が仮定と一致しない場合でもうまく機能するモデルを開発することは、統計理論の重要な部分です。 Tukey (1960) はこの分野における初期の研究を要約しており、Stigler (2010) は歴史的なレビューを提供しています。 Huber (1972) らの理論的研究に続いて、研究者は特に経済学において実践上特に重要な効果的な方法を開発し、人々は統計モデルの不完全性をより意識するようになりました。

一般的に、統計研究における堅牢性の主な影響は、特定の方法の開発ではなく、ベルナルドとスミス（1994）がMオープンワールドと呼ぶ、データ生成プロセスが適合確率モデルのカテゴリに分類されない世界での統計手順の評価という考え方への影響にあります。グリーンランド（2005）は、研究者は従来の統計モデルに含まれていない誤差の原因を明示的に考慮する必要があると主張しています。堅牢性の問題は、多くの現代の統計の特徴である高密度にパラメータ化されたモデルに関連しており、より一般的にはモデル評価に影響を与えます (Navarro、2018)。

探索的データ分析

Tukey (1962) に続いて、探索的データ分析の支持者は漸近理論の限界とオープンな探索とコミュニケーションの利点 (Cleveland、1985) を強調し、統計理論を超えたデータサイエンスのより一般的な見解を明確にしました (Chambers、1993、Donoho、2017)。これは、固定された仮説をテストするよりも発見に重点が置かれるという統計モデリングの見解と一致しています。これはグラフィカル手法の発展に影響を与えただけでなく、統計学の分野を定理の証明から遠ざけ、科学分野のデータから学ぶというよりオープンで健全な視点へと移行させました。医療統計の分野を例にとると、1986 年に Bland と Altman が発表した引用数の多い論文では、相関分析と回帰分析に代わるデータ比較のためのグラフィカルな手法が提案されました。

さらに、研究者たちは探索的データ分析を正式に定義しようと試みてきました。「探索的モデル分析」（Unwin、Volinsky、Winkler、2003、Wickham、2006）は、データ分析プロセスの実験的な性質を捉えるために使用されることもあり、研究者たちはモデル構築とデータ分析のプロセスに視覚化を含めるよう取り組んできました（Gabry et al.、2019、Gelman et al.、2020）。

これらの統計的概念の関係

研究者たちは、上記の 8 つの統計的アイデアは既存の問題を解決するだけでなく、統計的思考とデータ分析の新しい方法を生み出すため重要であると考えています。言い換えれば、それぞれのアイデアは、その方法が統計学の狭い範囲を超え、「研究趣味」や「哲学的思考」に近い「コード」なのです。

これらの統計的概念の間にはどのようなつながりや相互作用があるのでしょうか?

スティグラー（2016）は、統計学の一見異なるいくつかの領域には共通のテーマが根底にあると主張している。この相互に関連した見方は、最近の研究開発にも当てはまります。

たとえば、正規化された過剰パラメータ化モデルは、機械学習メタアルゴリズムを使用して最適化することができ、その結果、汚染に対して堅牢な推論を得ることができます。これらの関連性は他の方法で表現することができ、ロバスト回帰モデルは混合分布に対応し、これはマルチレベルモデルとして表示でき、ベイズ推論によって適合できます。ディープラーニング モデルは、一種の多層ロジスティック回帰に関連しているだけでなく、サポート ベクター マシンで使用されるスプラインや再帰コア ヒルベルト空間にも関連しています。

さらに、特定の統計モデルと、この記事に記載されている 8 つの統計的アイデアとの間にはどのような関係があるのでしょうか。ここで研究者らは、リスク回帰、一般化線形モデル、空間自己回帰、構造方程式モデル、潜在分類、ガウス過程、深層学習などの影響力のある研究成果について言及しました。前述のように、過去 50 年間に統計的推論とコンピューティングの分野では多くの重要な進歩がありましたが、それらはすべて、この記事で説明した新しいモデルと推論のアイデアに触発され、推進されてきました。モデル、方法、アプリケーション、計算は互いに密接に関連していることに注意する必要があります。

最後に、研究者らは、統計的手法の研究は自然科学や工学における統計的応用の動向と結びつく可能性があると述べている。彼らは、劇的な変化により統計から結論を導き出す必要のある生物学、心理学、経済学、その他の科学分野では、複製危機または再現性革命が起こる可能性があると主張している。

著者について

アンドリュー・ゲルマンはコロンビア大学の統計学および政治学の教授であり、有名な統計学者です。彼は1990年にハーバード大学で統計学の博士号を取得しました。彼はアメリカ統計学会から優秀統計アプリケーション賞を3回受賞しており、2020年にはアメリカAAASの会員に選出されました。彼はまた、「ベイズデータ分析」などの本の著者でもあります。 Google Scholarにおける論文の引用総数は12万件を超えています。

Aki Vehtari 氏は、アールト大学の計算確率モデリングの准教授です。彼の研究対象には、ベイズ確率理論と方法、ベイズワークフロー、確率プログラミング、推論とモデル診断、モデル評価と選択、ガウス過程、階層モデルなどがあります。彼はまた、「回帰とその他の物語」や「ベイズデータ分析」などの本も執筆しています。 Google Scholar におけるこの論文の引用総数は約 40,000 件です。