ベイズの定理では以下の式が成立します。
では、「Bという状態である確率」「データの発生源」に該当する事前確率です。
では、「結果的にAという事象が発生する確率」「観測」に該当するとします。
ベイズの定理の左辺を見ていただくと・・・
を意味するのは、「Aという観測・事象が発生している中でBの状態であった確率」を指します。
ベイズの定理が非常に応用される要因としてあげられるのは、「観測に対して、その原因である確率」を算出できます。
ゆえに時間の逆行、原因論です。
推定
推定って何すんの？
上記のベイズの定理の考えを応用して・・・
ここでの(μ, σ)は確率分布を決定するときの平均, 標準偏差のパラメータです。
xは与えられた観測データとします。
確率分布のパラメータ(μ, σ)が決定された中で、
を求める機会が多かったのではないでしょうか。
ちなみにを尤度関数と呼びます。
しかしベイズ推定では順序を逆にさせ、
が最大となるパラメータ(μ, σ)を探します。
ベイズ推定ではθに依存しない分母
を除いて、上記の式に変換してやります。
どんな確率分布かは不明だが、観測データXは何らかの確率分布を介して生成してるので、
その分布のパラメータを求めに行こうというのがベイズ推定や最尤推定です。
最尤推定ではパラメータを以下のように決定します。
事前確率θ=(μ, σ)のパラメータ、観測データをXとします。
全ての観測データXのうちに i 回、勝利する確率を知りたいとします。
最尤推定ではi 回勝利するような確率分布のパラメータを知りたいわけです。
これを求めたいのです。
微分計算などをとりあえず省きます。（書くのがだるい）
こうなります。
これではサンプル数Nに依存してしまい、サンプル数少ないときどうすんねん！となります。
そうです！最尤推定はサンプル数に依存してしまう傾向にあり、サンプル数が少ない際に信頼性が欠点と言わざる得ません。
ここでベイズ推定の登場です。
ベイズ推定では左辺の事後確率
を最大にします。
