男子大学生の日常

男子大学生の雑記ブログです

統計モデリングとは何か?

以前の記事で、科学を行う際に、理論と実証の区別がちょー重要であるという話をした。しかし、近年その境界線は揺らいできている。

一般的に、計量分析・統計分析というのは、現実の世界のデータを分析するので、実証の方に含まれる。しかし、wikipeadiの「統計モデル」のページに「統計モデルは『理論の正式な表現』である」と書いてあるように、統計モデルは何らかの理論を基にしなければそもそも構築できないので、実際は理論がまず必要である(「予測精度」が主目的である状況ではいくつかのモデルを試して最も予測精度が高いモデルを選択するという戦略が有効だが、「真理の解明」が主目的である状況では特に理論的基礎の重要性が大きい)。これまでの実証研究の多くは、重回帰やロジスティック回帰などの汎用的・基礎的なモデルを借用していたが、そろそろ各研究の目的にあったオーダーメードのモデルを作りましょうよという話になってきている。そして、オーダーメードのモデル構築は「統計モデリング」と呼ばれ、理論と実証を接続する概念になりつつあるのだ。

 

そもそも計量分析に本質的な要素とは何なのだろうか?重回帰分析、ベイズ推定、t検定、正規分布、F検定、多重代入法、操作変数法、、、計量分析を学ぶとあまりにも様々な概念が出てきて、それをいちいち学は目になるのだが、上記の概念は「水準」「特性」が違う。計量分析のプロセスは、

①モデル構築→②パラメータ係数の推定→③パラメータ係数の検定→④モデルの評価

である。

①モデル=変数×パラメータ×数理構造。統計モデリングとはモデルを構築することである(というか理論研究の数理モデルも上記の3要素からなるので、それと実質的な差異はない。だから理論と実証の境界が揺らいでいるのである)。オーダーメードが難しい人は、すでにあるモデルを借用するのが便利で、一般化線形モデル、一般化線形混合モデル、階層ベイズモデル、微分方程式モデル、確率モデル、時系列モデル、機械学習モデル(決定木やニューラルネットワーク等)、強化学習モデル、エージェントベースモデル(ゲーム理論やネットワーク含)等があるので、まずそれらを勉強した方が良い。

~②以降はデータをモデルにフィットさせて出てくる値を使う~

②モデルの「変数」はデータがあり、「数理構造」はそのままなので、「パラメータ」を推定できる。推定方法は、最小二乗法(OLS)、最尤法、ベイズ推定の主に3種類あるので、状況に応じて使い分ければ良い。

③係数が推定できたとしても、その値はサンプルの取り方によって確率的に揺らぐ値であるため、その揺らぎも考慮した上で係数の大きさを評価する必要がある。係数の値と係数の標準誤差から検定統計量が算出でき、検定統計量がある分布に従うことを仮定すれば、係数の値を評価することができる(大体の場合は母集団において0か否か)。

④どんなモデルに対してもデータをフィットさせてパラメータ推定することは可能だが、めちゃくちゃなモデル(現実では想定している関係性など全くないのにそのような関係性を想定して作ったモデル)かもしれない。そこで、自分が構築したモデルが妥当なのかを「データの当てはまりの良さ」という基準で評価する(「当てはまりの良さ=現実の真理への近さ」と仮定することが多い)。この評価基準もいくつかあって、AICBIC、WAIC等があるので、状況に応じて使い分ければ良い。

 

最近話題の統計的因果推論は、従来の計量分析が全て相関に依存していたことを批判する。例えば線形モデル(単回帰分析)は、原因→結果の因果効果を測っているように錯覚させるが、その係数は相関係数に基づいて算出されるものであるため、交絡や逆の因果の影響を受けている。つまり、係数の推定値の不偏性を除去しようというモチベーションの下、適切なモデル構築、リサーチデザインをしましょうということだ。2つに分けて書いたように、因果推論はモデル構築に関わるもの(固定効果モデル、傾向スコア、操作変数法)だけではない。ランダム化比較試験はモデルの外でランダム性を確保している例であり、実験群と対照群の結果(データ)をt検定するだけで良い(このt検定自体も上記の統計モデリングのプロセスの中で解釈可能であるため、上記のプロセスは全ての計量分析の統一的フレームワークである)。

 

これまでの実証研究では、理論を全く意識することなく、その場でテキトーに作った仮説を重回帰分析やロジットモデルで検証するだけで良かったかもしれないが、そんな時代は終わりつつある。理論研究をちゃんとフォローしていないとそもそも意味のあるモデルを作れない。

 

つまり、

 

①理論の勉強

②汎用的なモデル・推定・検定・モデル評価指標の勉強

③分野特殊的なモデル・推定・検定・モデル評価指標の勉強

④因果推論の勉強

 

が必要になると思われる。気を付けてほしいのが、①と③は「自分が使うものを適宜勉強する」方式にしないと、膨大すぎて勉強しきれないということだ。昔やみくもに勉強して、半年後何も覚えていなかったということがあった。②④は汎用性がとても高いので、一通り勉強する価値があると思う。