数学と物理学のブログ

本業から離れて、趣味である数学と物理学について書きます。

ベイズ統計 第3章 ベイズの展開公式

ベイズ統計

第1章 確率の基礎

第2章 ベイズの定理からベイズ理論の出発点へ

第4章 ナイーブベイズ分類器とナイーブベイズフィルター

第3章 ベイズの展開公式

3.1 ベイズの展開式の導出

前章では乗法定理からベイズの定理を導き、ベイズの基本公式(1)にたどり着いた。

P(H|D)=\frac{P(H)P(D|H)}{P(D)}・・・(1)

Dは結果(データ)、Hはその仮定(原因)であり、P(H|D)は「データDが得られたときの原因がH」である確率であるが、通常想定できる原因は1つではない。仮にその原因が3つあるとし、 H_1 H_2 H_3とする。 ここで、原因 H_1にのみ着目し、(1)のH H_1に置き換えると、

P(H_1|D)=\frac{P(H_1)P(D|H_1)}{P(D)}・・・(2)

となり、これを出発点とする。

3つの原因 H_1 H_2 H_3が排他的である(ダブりはない)とすると、原因Dは次のように展開できる。

f:id:sr-memorandum:20190324220258p:plain 図1

P(D)=P(D \cap H_1)+P(D \cap H_2)+P(D \cap H_3)・・・(3)

図1のようにDを得る確率は、D \cap H_1D \cap H_2D \cap H_3の3つの和で表現される部分から得られる確率の和となる。 ここで、この(3)の右辺の各項に、確率の乗法定理を適用してみる。 乗法定理は、P(A \cap B)=P(A)P(B|A)であるので、

P(D)=P(D|H_1)P(H_1)+P(D|H_2)P(H_2)+P(D|H_3)P(H_3)・・・(4)

となる。これを(2)に代入すると、

P(H_1|D)=\frac{P(H_1)P(D|H_1)}{P(D|H_1)P(H_1)+P(D|H_2)P(H_2)+P(D|H_3)P(H_3)}・・・(5)

となる。 (5)は原因として、 H_1 H_2 H_3 の3つを仮定したものであるが、データDの原因としてn個のものを考えるとこれを一般化することができる。

データDは、原因 H_1 H_2、・・、 H_nのどれか1つから生まれると仮定する。このとき、データDが得られたとき、その原因がH_iである確率P(H_i|D)は、

P(H_i|D)=\frac{P(H_i)P(D|H_i)}{P(D|H_1)P(H_1)+P(D|H_2)P(H_2)+・・・+P(D|H_n)P(H_n)}・・・(6)

となり、これをベイズの展開公式という。 各原因からデータの得られる確率P(D|H_i)と、データを得る前の原因の確率P(H_i)が得られたときに、データDが得られたとき原因がH_iである確率P(H_i|D)を表す公式である。

3.2 尤度、事後確率及び事後確率

ベイズの展開式(6)のうち、P(H_i|D)P(D|H_i)及びP(H_i)には、それぞれ統計学的な意味がある。 右辺の分子にあるP(D|H_i)を原因H_i尤度という。これは、原因H_iのもとでデータDが得られる尤もらしい確率を表す。 次に尤度の左隣にあるP(H_i)事前確率という。データDの影響をまだ考慮していない、分析前の原因H_iの起こる確率なので、そう呼ばれる。 また、左辺にある原因の確率P(H_i|D)事後確率という。ベイズの基本公式を用いてデータDを考慮して得られた分析後の原因H_iの確率であるため。

P(D|H_i):尤度 原因H_iのもとでデータDが得られる確率

P(H_i):事前確率 データDを得る前の原因H_iの確からし

P(H_i|D):事後確率 データDが原因H_iから得られた確率

3.3 ベイズの展開公式の利用例

例1:ある地方の気象統計では、10月1日に晴れ、曇り、雨の確率は0.3、0.6、0.1である。翌10月2日に雨の確率は、1日が晴れのときは0.2、曇りのときは0.5、雨のときは0.4である。この地方で、2日が雨のとき前日1日が曇りの確率を求めよ。

まず、記号を定義する。 そうすると各尤度は、 P(D|H_1)=0.2P(D|H_2)=0.5P(D|H_3)=0.4

各事前確率は、 P(H_1)=0.3P(H_2)=0.6P(H_3)=0.1

ベイズの展開式(6)から10月2日が雨のとき10月1日が曇りの確率(事後確率)P(H_2|D)は、

P(H_2|D)=\frac{P(H_2)P(D|H_2)}{P(D|H_1)P(H_1)+P(D|H_2)P(H_2)+P(D|H_3)P(H_3)}=\frac{0.6×0.5}{0.2×0.3+0.5×0.6+0.4×0.1}=\frac{3}{4}

この計算仮定は、一般化することができベイズ理論の計算の流れもこの手順に従うこととなる。

①モデル化し、それから尤度を算出する。 ②事前確率を設定する。 ③ベイズの展開公式を用いて事後確立を算出する。

例2:赤玉と白玉合わせて3個入った壷が3つある。1つには赤玉が1個、もう1つには赤玉が2個、残りの1つには赤玉が3個入っている。これら3つの壷の1つから玉を取り出したところ、それが赤玉であった。取り出された赤玉が「赤玉3個の入った壷」からの玉である確率を求める。ただし、3つの壷が選ばれる確率は順に3:2:1とする。

まず、記号を定義する。 そうすると各尤度は、 P(D|H_1)=1/3P(D|H_2)=2/3P(D|H_3)=3/3=1

各事前確率は、3つの壷が選ばれる確率は順に3:2:1であることから、 P(H_1)=3/6P(H_2)=2/6P(H_3)=1/6

ベイズの展開式(6)から取り出した赤玉が赤玉3個の壷からのものである確率(事後確率)P(H_3|D)は、

P(H_3|D)=\frac{P(H_3)P(D|H_3)}{P(D|H_1)P(H_1)+P(D|H_2)P(H_2)+P(D|H_3)P(H_3)}=\frac{1/6×1}{1/3×3/6+2/3×2/6+1×1/6}=\frac{3}{10}

3.4 ベイズ更新

例3:くじが10個入った箱が2つある。1つは当たりくじが5個、もう1つには当たりくじが1個入っている。2つの箱の1つからくじを引いたところ、ハズレ⇒当たり⇒当たりであった。引いたくじが当たりくじ5個の箱からである確率を求める。なお、引いたくじは箱に戻すものとする。

この例3は、これまでの例と異なり、複数のデータが得られたときの処理を考えることになる。 ベイズ理論は、このように独立して得られる複数のデータを、1つのデータのときと同じように処理することができ、しかも1データずつ逐次処理していくことが可能である。実際に、どのように処理されるかを以下に説明する。

まず、記号を定義する。 そうすると、各尤度は、 P(D_1|H_1)=1/2P(D_1|H_2)=1/10P(D_2|H_1)=1/2P(D_2|H_2)=9/10 となる。 ここで、2つの箱が選ばれる確率が与えられていないため、これまでの例のように事前確率を計算することができない。 こういうとき、ベイズ理論は何も条件が無いのなら事前確率として各々の箱の選択確率は等確率になるという考え方をする。 これを、理由不十分の原則という。 少々理解しにくいかも知れないが、天気が雨・晴れ・曇りの3通りならそれぞれ1/3の確率とする、箱の中の猫が生きているか死んでるかわからないのなら、生きている確率を1/2、死んでいる確率を1/2ととりあえず設定しておこうという発想である。

そうすると、事前確率は、 P(H_1)=1/2P(H_2)=1/2 となる。 これをベイズの展開式(6)に代入して事後確率を求めると、最初のくじは外れであったため、

P(H_1|D_2)=\frac{P(H_1)P(D_2|H_1)}{P(D_2|H_1)P(H_1)+P(D_2|H_2)P(H_2)}=\frac{1/2×1/2}{1/2×1/2+9/10×1/2}=\frac{5}{14}・・・(7)

P(H_2|D_2)=\frac{P(H_2)P(D_2|H_2)}{P(D_2|H_1)P(H_1)+P(D_2|H_2)P(H_2)}=\frac{1/2×9/10}{1/2×1/2+9/10×1/2}=\frac{9}{14}・・・(8)

となる。最初に引いたのがハズレであったため、当たりくじが1個である箱からである確率が高くなっている。

次に2回目のくじ引きの結果である当たりにベイズの展開公式(6)を適用する。 計算方法は、1回目と基本的に変わらないが、事前確率をどうしたらよいのか? そこで、用いられるのがベイズ更新という考えで、1回目の事後確率を2回目の事前確率として利用する。 つまり、(7)と(8)を用いて、事前確率は、 P(H_1)=5/14P(H_2)=9/14 となる。 そして、2回目のくじ引きの結果は当たりであったため、

P(H_1|D_1)=\frac{P(H_1)P(D_1|H_1)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{5/14×1/2}{1/2×5/14+1/10×9/14}=25/34・・・(9)

P(H_2|D_1)=\frac{P(H_2)P(D_1|H_2)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{9/14×1/10}{1/2×5/14+1/10×9/14}=9/34・・・(10)

となる。2回目で当たりくじを引いたことで、当たりくじが5個である箱からである確率が急激に高くなっている。

同様にベイズ更新を用いて、3回目くじ引きの結果である当たりにベイズの展開公式(6)を適用する。 (9)と(10)を用いて、事前確率は、 P(H_1)=25/34P(H_2)=9/34 となる。 そして、3回目のくじ引きの結果は当たりであったため、

P(H_1|D_1)=\frac{P(H_1)P(D_1|H_1)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{25/34×1/2}{1/2×25/34+1/10×9/34}=125/134・・・(11)

P(H_2|D_1)=\frac{P(H_2)P(D_1|H_2)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{9/34×1/2}{1/2×25/34+1/10×9/34}=9/134・・・(12)

となる。

なお、ハズレ⇒当たり⇒当たりという順番で今回はくじを引いているが、この順番が変わったとしても(当たり⇒当たり⇒ハズレ、当たり⇒ハズレ⇒当たりetc)計算結果に違いは生じない。これをベイズ理論の逐次合理性という。

試しに、当たり⇒当たり⇒ハズレと引いた場合について計算し結果を比べてみる。

理由不十分の原則より 事前確率:P(H_1)=1/2P(H_2)=1/2

1回目は当たりなので P(H_1|D_1)=\frac{P(H_1)P(D_1|H_1)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{1/2×1/2}{1/2×1/2+1/10×1/2}=\frac{5}{6}

P(H_2|D_1)=\frac{P(H_2)P(D_1|H_2)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{1/2×1/10}{1/2×1/2+1/10×1/2}=\frac{1}{6}

ベイズ更新により 事前確率:P(H_1)=5/6P(H_2)=1/6

2回目は当たりなので、 P(H_1|D_1)=\frac{P(H_1)P(D_1|H_1)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{5/6×1/2}{1/2×5/6+1/10×1/6}=\frac{25}{26}

P(H_2|D_1)=\frac{P(H_2)P(D_1|H_2)}{P(D_1|H_1)P(H_1)+P(D_1|H_2)P(H_2)}=\frac{1/6×1/10}{1/2×5/6+1/10×1/6}=\frac{1}{26}

ベイズ更新により 事前確率:P(H_1)=25/26P(H_2)=1/26

3回目はハズレなので、

P(H_1|D_2)=\frac{P(H_1)P(D_2|H_1)}{P(D_2|H_1)P(H_1)+P(D_2|H_2)P(H_2)}=\frac{25/26×1/2}{1/2×25/26+9/10×1/26}=\frac{125}{134}

P(H_2|D_2)=\frac{P(H_2)P(D_2|H_2)}{P(D_2|H_1)P(H_1)+P(D_2|H_2)P(H_2)}=\frac{1/26×9/10}{1/2×25/26+9/10×1/26}=\frac{9}{134}

同じ結果となることがわかる。

続き

第1章 確率の基礎

第2章 ベイズの定理からベイズ理論の出発点へ

第4章 ナイーブベイズ分類器とナイーブベイズフィルター

 

一般相対性理論を一歩一歩数式で理解する [ 石井 俊全 ]

価格:3,780円
(2019/3/21 13:11時点)
感想(0件)

マンガでわかる量子力学 日常の常識でははかりしれないミクロな世界の現象を解 (サイエンス・アイ新書) [ 福江純 ]

価格:1,188円
(2019/3/21 13:13時点)
感想(2件)