ベイズ統計 第１章 確率の基礎
ベイズ統計
第１章 確率の基礎
1.1 集合について
集合の定義
集合とは、ある一定の条件をみたすものの集まりのことをいう。ただし、対象とするものが、その条件をみたうかどうかは、客観的に明らかなものの集まりでなければならない。
集合の例：奇数の集まり、人間の集まり、２０歳から３０歳の人間の集まり、etc
集合とならないものの例：
背が高い人の集まり（何を基準に、背を高いとするか定まっていない）
おいしい食べ物の集まり（何を基準に、おいしいとするか定まっていない）
イケメンの集まり（何を基準に、イケメンとするか定まっていない）
集合は、一般的にはA，B，X，Y などのアルファベットの大文字表し、集合を構成しているものをその集合の要素または、元という。
そして、a が集合A の要素であるとき、a ∊A またはA ∍a と表し、b がA の要素でないときは、b ∉A またはA ∌b と表す。
ここで、4で割り切れる20以下の自然数の集合をA とおくと、
A ={n |n =4k (k =1，2，3，4，5)}
A ={ 5，10，15，20 }
の２通りの表し方がある。このA のように、要素の個数が有限の集合を有限集合といい、X ={x |0≦ｘ ≦2π} のように、要素の個数が無限の集合を無限集合という。
また、１つの要素ももっていない集合を特に空集合といい、φ で表す。当然、空集合の要素の個数は ｎ (φ)=0 となる。
さらに集合B の要素がすべて集合A に属するとき、B はA に含まれると言い、B ⊆A （B とA が等しい場合も含む） もしくは、B ⊂A と表し、B をA の部分集合という。特に、B ⊂A のとき、B はA の真部分集合という。
２つの集合A ，B について、A とB に共通な要素の集合を積集合といい、A ∩B と表す。
A ={1，2，3，4}，B ={2，4，6，8} ならA ∩B ={2，4}
A ={a，b，c，d，e，f，g}，B ={c，e，g，h，i，j} ならA ∩B ={c，e，g}
A ={３の倍数}，B ={４の倍数} ならA ∩B ={３と４の公倍数}
A ={1，2，3，4，a，b，c，d，e，f，g}，B ={アルファベット} ならA ∩B ={a，b，c，d，e，f，g}
２つの集合A ，B について、A またはB のいずれかに属する要素の集合を和集合といい、A ∪B と表す。
A ={1，2，3，4}，B ={2，4，6，8} ならA ∪B ={1，2，3，4，6，8}
A ={a，b，c，d，e，f，g}，B ={c，e，g，h，i，j} ならA ∪B ={a，b，c，d，e，f，g，h，i，j}
A ={３の倍数}，B ={４の倍数} ならA ∪B ={３の倍数と４倍数}
A ={男性}，B ={女性} ならA ∪B ={男性，女性} ={ヒト}
ここで、との要素の個数について、次の公式が成り立つ。
A ∩B ＝φ のとき、 ｎ(A ∪B )＝ ｎ(A ) + ｎ(B )
A ∩B ≠φ のとき、 ｎ(A ∪B )＝ ｎ(A ) + ｎ(B ) - ｎ(A ∩B )
次に、考えている対象のすべてを要素とする集合を、全体集合U と表し、図に示すように、その部分集合A が与えられているとき、補集合Ā を次のように定義する。
補集合Ā ：全体集合U に属するが、A には属さない要素から成る集合。
補集合は、命題論理の否定(￢)と同じものと理解して差し支えはないが、「考えられている集合」は明確にさせておかなければならない。例えば、全体集合U をある大学の学生、その大学には理学部と工学部と文学部があるとしたとき、Aを理学部の学生とすれば、Ā は理学部以外の学生、つまり、工学部もしくは文学部の学生となるが、これは全体集合U をある大学の学生としているからである。これをAを理学部でかつ学生と捉えてしまうと、（理学部∩学生）￢＝理学部￢ ∪学生￢、つまり、理学部でないかもしくは学生ではないとなってしまい、全体集合U の外側までが、Ā となってしまう。
なお、Ā のようなアルファベットに「￣」(オーバーライン)を付した特殊文字が利用できない場合、A￣やB￣のように表記することする。
そして、U とA とĀ の要素の個数について次の公式が成り立つ。
ｎ(A )＋ｎ(Ā )＝ｎ(U )
また、命題論理と同様に、次のド・モルガンの定理が成り立つ。
(A ∩ E )￣＝Ā∪Ē
(A ∪ E )￣＝Ā∩Ē
1.2 集合と事象
「コインを投げたり」、「サイコロを振ったり」、同様のことを繰り返すことが可能な行為を、試行といい、その結果、「表が出たり」、「偶数の目が出たり」する事柄を、事象という。そして、この事象の中でも、これ以上簡単にならない１つ１つの基本的な事象を、根元事象という。
この根元事象の集まりは、次のように集合で表すことができる。
コインの場合＝{ 表，裏}
サイコロの場合＝{ 1，2，3，4，5，6 }
このような、試行によって起こる事象は、すべて集合によって表すことができるので、これからは、集合A と事象A を区別せずに扱うこととする。集合A の要素の数ｎ(A ) も、事象A の場合の数ｎ(A ) と呼ぶこととする。
また、場合の数と集合では呼び方が異なるので、それを以下にまとめておく。
場合の数 集 合
事象A 、事象B など ⇒ 集合A 、集合B など
全事象U ⇒ 全集合U
A ∩ B ：積事象 ⇒ A ∩ B ：積集合
A ∪ B ：和事象 ⇒ A ∪ B ：和集合
Ā ：余事象 ⇒ Ā ：補集合
φ ：余事象 ⇒ φ ：空集合
1.1で学んだ集合の要素の個数の公式はすべて、場合の数の計算にも利用できる。
A ∩B ＝φ のとき、 ｎ(A ∪B )＝ ｎ(A ) + ｎ(B )
A ∩B ≠φ のとき、 ｎ(A ∪B )＝ ｎ(A ) + ｎ(B ) - ｎ(A ∩B )
ｎ(A )＋ｎ(Ā )＝ｎ(U )
ｎ((A ∩ E )￣)＝ｎ(Ā∪Ē )
ｎ((A ∪ E )￣)＝ｎ(Ā∩Ē )
２つの集合、A ，B に対して、
A×B ＝ {(a ，b )｜a ∈A ，b ∈B }
を、A とB の直積と定義する。
A = { a1 ，a2 ，・・・・，am } ，B = { b1，b2 ，・・・・，bn } とすると、ｎ(A )＝m ，ｎ(B )＝n で、
(ai ，bj )( i =1 ，2 ，3 ，・・・，m ， j =1 ，2 ，3 ，・・・，n)は、m ×n 通りの組み合わの数だけ存在するので、ｎ(A×B ) = ｎ(A )×ｎ(B )となる。
次に、順列と組み合わせについてもまとめておく。
順列
ｎの階乗： ｎ!=ｎ・(ｎ－1) ・(ｎ－2)・･･････ ・3・2･1
ｎ個の異なるものを１列に並べる並べ方の総数。なお、0 ! = 1! = 1 である。
例えば、○△■なら１番目が３通り、１番目にどれか１つ選べば２番目が残りの２通り、そして最後が残る１通りで、3!=3･2･1＝6となる。（○△■、○■△、△○■、△■○、■○△、■△○）
順列の数：nPr=ｎ!/(ｎ-r) !＝ｎ・(ｎ－1) ・(ｎ－2)・･･････ ・(ｎ－r + 2) ・(ｎ－r + 1)
ｎ個の異なるものから重複を許さずに、r個を選び出し、それを１列に並べる並び方の総数。
例えば、○△■★◎の５個から３個を選び１列に並べるなら、１番目が５通り、２番目が４通り、３番目が３通りで、5･4･3＝60 （=5･4･3･2･1/（2･1）= 5!/2!=5!/(5-3) != 5P3）、つまり60通りとなる。
重複順列の数：ｎ^r
ｎ個の異なるものから重複を許してr個を選び出し、それを１列に並べる並べ方の総数。
○△■から5個を選び出すなら、重複が許されるため、３通り×３通り×３通り×３通り×３通り＝3・3・3･3･3=3^5=243、つまり２４３通りとなる。
組合せの数
組合せの数：nCr=ｎ!/{ r !･（ｎ - r) ! } = nPr/r !
ｎ個の異なるものの中から重複を許さずに、r個を選び出す選び方の個数。
例えば、○△■★◎の５個から３個を選ぶなら、5Ｃ3＝5!/(3!・2!)＝5･4/(2･1)＝10となる。
{ ○△■} { ○△★} { ○△◎} { ○■★} { ○■◎} { ○★◎} { △■★} {△■◎} { △★◎} { ■★◎}
（組合せの数の直感的な理解）
組合せの数は、順列の数よりも直感的に理解することが難しいが、
①順列の数 nPr は｢ｎ個の異なるものから重複を許さずに、r個を選び出し、それを１列に並べる並び方の総数｣であるから、要素の数がr個である集合の並べ方まで識別してカウントされる。（つまり、並び方を識別しない組合せの数では１個である{ ○△■} { ○■△} { △○■} { △■○} { ■△○} { ■○△} が、順列の数では異なるものとしてカウントされる。）
②そして、r個の異なるものを１列に並べる並べ方の総数は、r!個である。（3!個）
③つまり、順列の数は組合せの数のr!倍となっている。（3!倍）
④従って、組合せの数nCrは順列 nPr をr!で割った、nPr/r !となる。
と理解すればよい。
1.3 数学的確率と統計的確率
前節で説明したとおり、「コインを投げたり」、「サイコロを振ったり」、同様のことを繰り返すことが可能な行為を、試行といい、その結果、「表が出たり」、「偶数の目が出たり」する事柄を、事象という。そして、この事象の中でも、これ以上簡単にならない１つ１つの基本的な事象を、根元事象という。
この根元事象の集まりは、集合で表され、対象としているすべての根元事象(要素) a ，b ，c ・・・・から成る集合を、全事象や事象の全体といい、U ＝{ a ，b ，c ・・・・} で表す。
ここで、有限な全事象U の部分集合である事象A の起こる確率P (A )を、次のように定義し、これを数学的確率という。
数学的確率P (A )の定義
有限な全事象U に対して、そのすべての根元事象が同様に確からしく起こるとき、事象A の起こる確率P (A )は、
P (A ) ＝ｎ (A )／ｎ(U ) ＝(事象A の場合の数)／(全事象の場合の数)
で定義される。
例えば、サイコロを１回振って、「３の倍数の目が出る」事象をA とおくと、全事象U ＝{ 1，2 ，3，4，5，6} ，事象Ａ ＝{ 3，6}で、いずれの目も同様に確からしく出るので、求める確率P (A )は、
P (A ) ＝ｎ (A )／ｎ(U ) ＝2／6 ＝1／3
となる。なお、この確率は、３回サイコロを振ったら、必ず１回は３の倍数の目が出るという意味ではない。3,000回，30,000回，････と増やしていくと、ほぼ1,000回，1,000回，････は３の倍数の目が出ることを示している。
次に、Ａ ＝Φ（空事象)とＡ ＝U （空事象)の確率を考えてみると、
P (A ＝Φ）＝ｎ(Φ)／ｎ(U ) = 0／ｎ(U ) = 0
P (A ＝U ）＝ｎ(U )／ｎ(U ) = 1
となる。従って、確率P (A )は、0 ≦P (A ) ≦1の条件をみたす。
数学的確率P (A )は、事象Ａ の場合の数ｎ (A )を、全事象の場合の数ｎ(U )で割ったものなので、前節で示した場合の数の計算公式と同様のものが、確率計算のための公式としても利用できる。
（１）確率の加法定理
A∩ B ＝Φのとき、 P (A∩B )＝P (A ) + P (B )
A∩ B ≠Φのとき、 P (A∪B )＝P (A ) + P (B ) - P (A∩B )
(２)余事象の確率
A∪ A￣＝U A∩ A￣＝Φであるから、
1＝P (U ）＝P (A∪ A￣）＝P (A ) + P (A￣)
よって、 P (A￣) ＝1- P (A )
また、ド・モルガンの定理も同様に成り立ち、
P ((A ∩ B )￣)＝P (A￣∪B￣)
P ((A ∪ B )￣)＝ｎ(A￣∩B￣)
となる。
さて、このようにして数学的な確率が定義されたが、実際のサイコロ(数学的な確率の定義どおりに目が出るとは限らない)で３の倍数の目がでる確率を求めるにはどうすればよいだろう。１回投げただけでは、３の倍数の目が出るか出ないかのいずれか１つなので、１回だけ投げて確率が1/3であることは確かめられない。
このような場合には、確率の値を確かめるために、試行を何回も繰り返せばよい。何千回、何万回、何億回と繰り返すうちに、現象の得られる割合は真の確率の値に近づくと経験的に考えられるからだ。（なお、この経験則は、理論的に導くことが可能で大数の法則と呼ばれる。）
このように、何回も試行を繰り返したとき、得られる事象Aの割合を統計的確率という。なお、単に｢確率｣という場合、通常は、数学的確率をさす。
ここで、例題に確率を当てはめてみる。なお、少々回りくどい解答であるが、抽象的な確率の概念をどのようにして具体的に適用するかを理解するのに役立つかと思う。
例題１ サイコロを２つ振って、合計が５となる確率を求めよ。
サイコロ２つを振ると同じ目がでることがある。従って、サイコロ２つを振って出る全ての目の場合の数は、６個の異なる目から重複を許して２個の目を選び出し、それを１列に並べる並べ方の総数と同じである。よって、サイコロ２つを振って出る全ての目の場合の数ｎ(U )は、重複順列の数の求め方を用いて、
ｎ(U ) = 6^2=6×6＝36
そして、目の合計が５である事象A の全てを書きくだすと、A = {(1,4),(2,3,),(3,2),(4,1)}であり、
ｎ(A ) =4
よって、P (A ) = ｎ(A )/ｎ(U ) = 4/36 = 1/9
例題２ １番～６番までの番号が書かれた６本のくじを２回引く。ただし、１回目に引いたくじはくじ箱の中に戻さない。番号の合計が５となる確率を求めよ。
１度目に引いたくじをくじ箱に戻さないのだから、１回目と２回目で同じ番号のくじを引くことはない。従って、くじを２回引く全ての番号の場合の数は、６個の異なる番号から重複を許さずに２個を選び出し、それを１列に並べる並べ方の総数と同じである。よって、くじを２回引いて出る全ての番号の場合の数ｎ(U )は、順列の数の求め方を用いて、
ｎ(U ) =6P2=6!/(6-2)! = 6!/4! =6×5＝30
そして、くじの合計が５である事象A の全てを書きくだすと、A = {(1,4),(2,3,),(3,2),(4,1)}であり、
ｎ(A ) =4
よって、P (A ) = ｎ(A )/ｎ(U ) = 4/30 = 2/15
例題３ サイコロを１個投げたとき、Aを「偶数の目のでる事象」、Bを「４以下の目の出る事象｣とします。このとき、確率P(A∪B)を求めよ。
まず、
A = {2,4,6} B = {1,2,3,4} U = {1,2,3,4,5,6}
従って、
A∩B = {2,4}
ゆえに、
ｎ(A∩B ) =2 ｎ(U ) =6
よって、P (A∩B ) = ｎ(A∩B )/ｎ(U ) = 2/6 = 1/3
例題４ 中の見えない袋の中に、黒玉が３つ、白玉が７つ入っている。この袋から無作為に玉を１つ取り出したとする。その玉が黒玉である確率を求めよ。
（間違い）
取り出した玉は黒か白なので、U = {●,○} B = {●} W = {○}
ゆえに、
ｎ(B ) =1 ｎ(U ) =2
よって、P (B ) = ｎ(B )/ｎ(U ) = 1/2 ×
（正しい答え）
取り出した１個の玉は黒か白ではあるが、中の見えない袋の中から無作為に取り出した１個である。
従って、無作為に取り出す確率を考える必要がある。
黒玉が３つで、白玉が７つの計１０個の玉が中の見えない袋の中に入っているのだから、
U = {1,2,3,4,5,6,7,8,9,10} B = {1,2,3} W = {4,5,6,7,8,9,10}
とする。
ゆえに、
ｎ(B ) =3 ｎ(U ) =10
よって、P (B ) = ｎ(B )/ｎ(U ) = 3/10
1.4 条件付き確率と事象の独立
事象Aが起こったという条件の下で事象Bの起こる確率を、AのもとでBの起こる条件付き確率といい、P (B |A ) で表す。
もう少しわかりやすく言うと、P (B |A ) とは事象A を全体と考えたときに、事象B の起こる確率のことを表す。
図で表すと、濃い緑の部分で、薄い緑の部分を割って得られた値が条件付き確率P (B |A )となる。ただし、薄い緑の部分は濃い緑の部分に含まれているものとする。
このことから、AのもとでBの起こる条件付き確率P (B |A ) は、
P (B |A ) ＝ P (A ∩ B )／P (A )
と公式化される。
さて、これを１０本のうち２本の当たりがあるくじをAさん、Bさんの順に１本ずつ引く例に当てはめてみる。なお、引いたくじを戻さないものとする。Aさんが当たりを引く事象をA、Bさんが当たりを引く事象をB、とする。この場合、P (B |A )は、A が起こったという条件のもとで、B が起こる確率であるため、「Aさんが当たりを引いた後に、Bさんがくじを引く時に当たりを引く確率」ということになる。なお、P (A ∩ B )はAさんが当たりを引き、さらにBさんが当たりを引くという事象A、事象B がともに起こる確率を意味し、事象A、事象B の同時確率という。(同時といってもAさんとBさんが同時にくじを引くことを意味しないことに注意)
実際に値を求めてみると、P (A ∩ B ) = 2/10 × 1/9 = 1/45 P (A ) = 2/10 = 1/5 P (B |A ) = P (A ∩ B )／P (A ) = 1/45 ÷ 1/5 = 1/9となる。なお、P (A ∩ B )を求めた際の 2/10 × 1/9 は、Aさんが当たりを引く確率が2/10(１０本のうち２本が当たり）、Bさんが当たりを引く確率1/9(Aさんが当たり引いた後なの、９本のうち１本が当たり）と考えて計算しているが、「Bさんが当たりを引く確率｣というのが、まさに「Aさんが当たりを引いた後に、Bさんがくじを引く時に当たりを引く確率」であり、条件付き確率P (B |A )を用いて計算している。これは、条件付き確率の公式の両辺にP (A ) を乗ずると得られる式を直観的に用いているが、この式を確率の乗法定理という。
P (A ∩ B ) ＝ P (A )P (B |A ) ・・・・・・ 乗法定理
条件付き確率P (B |A )とは、「事象Aが起こるという条件のもとで事象Bが起こる」確率を表す。また、P (B )は、「単に事象Bが起こる」確率を表す。
ここで、AとBが関係しなければ、Aが起ころうと起こるまいと、Bの起こる確率には関係ないはずである。そこで、２つの事象A、Bが関係しないことは、次のように表現できる。
P (B |A ) ＝P (B )
これが２つの事象A、Bの独立を表す式となり、これが成立しないとき、２つの事象A、Bに関係があることになり、事象A、Bは従属するという。
さて、この式を乗法定理に代入すると、次の公式が得らる。
P (A ∩ B ) ＝ P (A )P (B) ・・・独立事象の乗法定理
これを独立事象の乗法定理といい、２つの事象A、Bの独立を確認する際にはこの式が用いられることが多い。
1.5 確率変数と確率分布
サイコロの目のように、確率的に値が決まる変数を確率変数という。
また、確率変数のとる各値に対応して、それらが起こる確率が与えられるとき、その対応を確率分布という。この対応が表されている表を、確率分布表という。
例えば、サイコロの目は確率変数なので、これをXとする、確率分布表は次のようになる。
Ｘ １ ２ ３ ４ ５ ６
確率 1/6 1/6 1/6 1/6 1/6 1/6
あるいは、コインを振って表が出るか裏が出るかも確率変数なので、同様に、
Ｘ 表 裏
確率 1/2 1/2
となる。
1.6 平均値、分散及び標準偏差
確率変数と確率分布が与えられたとき、平均値と分散、標準偏差を考えることができる。平均値（期待値とも呼ばれる）とは、確率変数における平均的な値を、分散は平均からの「散らばり具合」を表現する値である
確率変数Xの分布が次のように与えられているものとする。
このとき、確率変数Xの平均値μと分散σ^2、標準偏差σは、次の公式で示される。
平均値： μ=x1p1+x2p2+x3p3+・・・+xnpn
分散： σ^2＝(x1-μ)^2・p1+(x2-μ)^2・p2+・・・+(xn-μ)^2・pn
標準偏差： σ＝√(σ^2)
(例)サイコロを１個投げたとき、出る目Xの平均値と分散、標準偏差を求める。
1.5の確率分布表より、
平均値μ＝1×1/6+2×1/6+3×1/6+4×1/6+5×1/6+6×1/6=21/6=3.5
分散σ^2=(1-3.5)^2×1/6+(2-3.5)^2×1/6+(3-3.5)^2×1/6+・・・+(6-3.5)^2×1/6=35/12≒2.9
標準偏差σ=√(35/12)≒171
