推測統計(頻度論)とベイズ統計

推測統計(頻度論)とベイズ統計の違いをわかりやすく

頻度論とベイズ統計はよく対立して議論されます.
ここでは,わかりやすく簡単にその違いを説明します.
例を挙げて説明します.

歪みがあるコインを投げて裏表を確認するという試行を繰り返します.
そのコインを適当に投げたあと,次にどの目が出るか予測します.

この場合,推測統計もベイズ統計もコインの出る目は何らかの分布に従っている(パラメトリック推定)と予測します.
今回は歪みがあるコインなのでベルヌーイ分布に従うと予測するとしましょう.

ベルヌーイ分布

分布を仮定して終わりではありません.パラメータpを求めなくてはいけません.ここで両者の意見が分かれます.
推測統計ではパラメータは単なる値である.
としていて,一方
ベイズ統計ではパラメータは単なる値ではなくて,ある分布(事前分布)から生まれた確率変数である.
としています.パラメータを確率変数とするのかどうかが大きな違いです.

パラメータの扱いによって推定する方法も異なります.
頻度論では,一番尤もらしい値をパラメータとして選択します(最尤推定).
ベイズ統計では,パラメータの分布を事前分布として,ベイズの定理によって事後分布を求めます(MAP推定・ベイズ推定).

推測統計とベイズ統計は一概にどちらが優れているかということは言えません.
ベイズ統計はパラメータの分布を求めているので分かることが多いように見えますが,
それだけ計算が煩雑になります.
ベイズ推定では事後分布を解析的に求めることができない場合があります.
そのため,サンプル平均により求めるマルコフ連鎖モンテカルロ法(MCMC)を用います.

以上が推測統計とベイズ統計についての違いでした.

ベイズ統計についてはノンパラメトリックベイズ(機械学習プロフェッショナルシリーズ)に詳しく書かれています.