Science

【測度論的確率論】確率変数と確率分布(勉強ノート)

【測度論的確率論】確率変数と確率分布(勉強ノート)

 

本記事では、(ちょっとだけ測度論的)確率論の基礎を簡単に説明します。

自分も勉強中のため必ずしも正しい情報が含まれているわけではないことを留意してください…

むしろ、間違えている部分がありましたら本記事のコメント欄にご指摘よろしくお願いします!

また、わかりやすさを求めるために本記事を更新していきます。

 

確率空間

 

確率とは何か?という問いは、意外と難しいと思います。

実際、色々な人に聞いてみると、聞く人によって意味が異なり数学的には扱いにくいことがわかります。

そのため、数学的に整備された『フィールド』を作ることで、人によって揺らがない『確率』を定義をすることは重要であると考えられます。

実は、そのような定義を与えてくれるのが(測度論的)確率論です。

ここでは、そのような枠組みを与える理論を『サイコロ』を具体例として説明していきます。

 

 

標本空間と可測空間

 

まず、確率を考えるためには、『サイコロの出た目』等の出来事をまとめた集合を考える必要があります。

このような出来事の集合を『標本空間\(\Omega\)』と呼び、この集合\(\Omega\)の要素\(\omega\)を『根元事象』と呼びます。

そのため、\(\Omega\)の部分集合の全てが何らかの事象に対応します。

そこで、部分集合全てをまとめた族を\(2^{\Omega}\)として導入しておきます。

実は、任意の集合\(\Omega\)が確率を考えるフィールドになりうるのではなく、\(2^{\Omega}\)がシグマ加法族という集合族となる必要があります!!

 

具体的には、\(\mathcal{F} \in 2^{\Omega} \)に以下のような性質を要請するとき、\(\mathcal{F} \)をシグマ加法族といい、\( ( \Omega, \mathcal{F} ) \)を可測空間と呼びます。

定義 : (シグマ加法族・可測空間)

ある集合\(\Omega\)の部分集合族\( \mathcal{F} \in 2^{\Omega} \)が以下の条件を満たすとき、\(\mathcal{F}\)をシグマ加法族と呼び、\( ( \Omega, \mathcal{F} ) \)を可測空間と呼ぶ。

  • \( \Omega \in \mathcal{F} \)
  • \( A \in \mathcal{F} \rightarrow A^{c} = \Omega \backslash A \in \mathcal{F} \)
  • \( A_{1}, A_{2}, \ldots \in \mathcal{F} \Rightarrow \bigcup_{n=1}^{\infty} A_{n} \in \mathcal{F} \)

 

少し抽象的なのでサイコロを具体例に確認していきましょう!

サイコロの場合を具体的に考えてみます。

具体例1 : サイコロ

  • 根元事象 : \( \Omega = \{ 1, 2, 3, 4, 5, 6 \} \)
  • 偶数番目の事象に着目したシグマ加法族 : 
    \( \mathcal{F} = \{ \emptyset, \{2, 4, 6\}, \{1, 3, 5\}, \Omega \} \)

この具体例からわかるようにシグマ加法族は確率論を考える土台になります。

また、以下の命題が成り立ちます(興味がある方は証明してみてください)

命題 : 

\(\mathcal{F}\)が集合\(\Omega\)上の\(\sigma\)-加法族ならば以下が成り立つ。

  • \(S \in \mathcal{F}\)
  • \(A, B \in \mathcal{F}\)ならば\(A\cup B, A\cap B, A \backslash B \in \mathcal{F}\)
  • \(A_{1}, \ldots \in \mathcal{F}\)ならば、\(\bigcap_{n=1}^{\infty} A_{n} \in \mathcal{F}\)

つまり、シグマ加法族であるためには、要素の余事象・和事象・積事象は全てシグマ加法族に含まれる必要があるということです。

 

 

生成されたシグマ加法族

 

この後の説明の都合からやや天下り的ですが、『生成されたシグマ加法族』というものを定義しておきます。

定義 : (生成されたシグマ加法族)

\(C\)を\(\Omega\)の部分集合族、\(\Omega\)上のシグマ加法族の中で\(C\)を含むものを\(\Sigma_{\mathcal{C}}\)とし、\(\sigma(\mathcal{C})\)を以下で定義する。

$$\sigma(\{\mathcal{C}\}) = \bigcap_{\mathcal{F} \in \Sigma_{\mathcal{C}}} \mathcal{F}$$

この\(\sigma\{\mathcal{C}\}\)を\(\mathcal{C}\)の生成する\(\Omega\)上の\(\sigma\)加法族という。

イメージ的には、数あるシグマ加法族の中で\(\mathcal{C}\)を含むようなものだけを考え、その共通部分を取り包含関係に関して、最小のシグマ加法族を\(\mathcal{C}\)から生成されたシグマ加法族\(\sigma(\mathcal{C})\)といいます。

そのため、任意のシグマ加法族\(\mathcal{F} \in 2^{\Omega}\)に対して\(\sigma\{\mathcal{C}\} \subset \mathcal{F}\)となります。

 

ボレル集合族

 

ついでにもう一つ、ボレル集合族というシグマ加法族を導入しておきます!

ボレル集合族は、実数区間上の可測空間を構成するため定義されるシグマ加法属で以下のように定義されます。

定義: (ボレル集合族)

集合族\(\{ [a, b) \mid a, b \in \mathbb{R}, a <b\}\)の生成するシグマ加法族を\(\mathbb{R}\)上のボレル加法族といい\(\mathcal{B}(\mathbb{R})\)と表す。

また、\([-\infty, \infty] = \mathbb{R} \cup \{-\infty\} \cup \{\infty\}\)において\(\{[a, b);a, b \in \mathbb{R}, a < b \} \)の生成するシグマ加法属を\([- \infty, \infty]\)上のボレル加法族といい\(\mathcal{B}([-\infty, \infty])\)と表す。

定義から必ず、ボレル集合族\(\mathcal{B}(\mathbb{R})\)は\(\{[a, b) \mid a, b \in \mathbb{R}, a <b\} \)を含みます。

つまり、ボレル集合族は少なくとも、めちゃめちゃたくさんの区間を含むような集合です!

ボレル集合族の要素を具体的に書き出してみると、\(\mathcal{B}(\mathbb{R}) = \{\emptyset, \{[0.0001, 0.0002], [0.0001, 0.0003], \ldots\}, \mathbb{R}\}\)のようにたくさんの区間が含まれている感じです(ミスリーディングだったらすみません…)

少し脱線しましたが、いよいよ本筋に戻り『確率』を数学的に扱うフィールドを完成させます!

 

確率測度

 

最後に事象に対応する集合を扱いやすくするために、\(\mathcal{F} \)上の以下のような確率測度(関数) \(P : \mathcal{F} \to [0, 1] \)を導入します。

より具体的には以下で定義される確率測度を導入します。

定義 (確率測度 or \(\Omega\)の確率分布)

\(\mathcal{F} \)上の写像\( P : \mathcal{F} \to [0, 1] \)が以下の条件を満たすとき\( P \)を確率測度と呼ぶ

  • \( P(\Omega) = 1\)
  • \(P(\emptyset) = 0 \)
  • \(A_{1}, A_{2}, \ldots \in \mathcal{F}\)に対して、\(A_{1} \cap A_{2} \cap \cdots = 0 \Rightarrow P\left(\bigcup_{i} A_{i} \right) = \sum_{i} P(A_{i}) \) 

 

確率測度を定義することで、ある事象\( A \in \mathcal{F} \)を確率測度に入力して得られた実数値を『確率(重み)』と定義することできます!

このように定義することで、冒頭で述べたような『確率の定義の揺れ』をなくすことができます。

また、\( (\Omega, \mathcal{F}, P) \)をセットにしたものを『確率空間』と呼び、まさに確率を考えるフィールドとなります!

確率測度に対して以下の性質が成り立ちます(興味がある方は証明してみてください)

命題:

  • \(P(A \cap A^{c}) = 0\)
  • \(P(A) = P(A \cap B) + P(A \cap B^{c})\)
  • \(P(A \cup B) = P(A) + P(B) ~- P(A \cap B)\)

 

 

確率変数とは

 

確率空間\( (\Omega, \mathcal{F}, P) \)の標本\( \omega \in \Omega \)に対して実数値を与えるような写像を確率変数といいます。

形式的に定義すると以下のようになります。

定義: (確率変数)

確率空間\( (\Omega, \mathcal{F}, P) \)に対して、写像\( X : \Omega \to \mathbb{R} \)が以下の条件を満たすとき、\(X\)を確率変数という。

任意の\(B \in \mathcal{B}(\mathbb{R})\)に対して、\(X^{-1}(B) \in \mathcal{F}\)となる

 

つまり、確率変数は可測空間\(\Omega, \mathcal{F}\)をより扱いやすい実数世界の土台\(\mathbb{R}, \mathcal{B}(\mathbb{R})\)に変換する写像なのです。

このような変換を施した後は、確率測度への入力はある区間\((a, b]\)となり、扱いやすくなります(積分のテクニックを使用できる等のメリットがあります)

また、一つ一つの\(\omega \in \Omega\)に対して\(X(\omega)= x\)なる\(X\)の値が定まります。

この\(x\)を『実現値』といい一般的に小文字で表されます。

また、実現値全体を\(\mathcal{X} = \{X(\omega) \mid \omega \in \Omega\}\)で表し、\(\mathcal{X}\)を\(X\)の標本空間といいます。

 

離散型確率変数と連続型確率変数

 

さらに確率変数は取り得る値によって離散型・連続型確率変数の二種類が定義されます。

離散型確率変数と連続確率変数は以下のように定義されます。

定義: (離散型確率変数・連続型確率変数)

  • 離散型確率変数 : 取り得る値が加算個な確率変数
  • 連続型確率変数 : 実数区間内で連続的に変化する確率変数

 

 

確率変数の具体例

 

数学的には、確率変数は根元事象\(\omega \in \Omega\)に対して実数値を対応させる関数\(X(\omega)\)であることがわかりました。

しかし、抽象的すぎてよくわからないですよね…

そのため、もう少し具体的な例を使ってイメージをつけていきましょう。

確率変数の具体例

サイコロを振ったときに偶数ならばケーキを食べることができ、奇数ならばケーキを食べることができないというゲームを行います。

まず、ケーキを食べるという事象に1を割り振り、ケーキを食べれないという事象に-1を割り振ることにします。

ここで、確率変数\(X\)を一回のゲームでケーキを食べれるか食べれないかを表す確率変数とします。

このとき、標本空間\(\{1, 2, 3, 4, 5, 6\}\)に対して確率変数の値は以下のようになります。

\begin{align}X(1) &= X(3) = X(5) = -1 \\ X(2) &= X(4) = X(6) = 1 \end{align}

逆写像を考えるとケーキを食べれるか食べれないかに対して以下の関係が成り立ちます

$$X^{-1}(1) = \{2, 4, 6\} \subset \Omega, ~~~X^{-1}(-1) = \{1, 3, 5\} \subset \Omega$$

 

確率変数の生成するシグマ加法族

 

確率変数に関しても生成するシグマ加法族が定義されます。

形式的には以下のように定義されます。

定義: \(X\)が生成するシグマ加法族

確率変数\(X\)が与えられたとき、\(X\)の生成するシグマ加法族\(\sigma(X)\)は以下で定義される。

$$\sigma(X) = \sigma(\{\{X^{-1}((- \infty, r])\} \mid r \in \mathbb{R}\} )$$

確率変数\(X\)と\(Y\)が独立が独立であるとは、それぞれの生成するシグマ加法族\(\sigma(X)\)と\(\sigma(Y)\)が独立であるときをいいます。

 

確率分布(累積分布関数・確率質量関数・確率密度関数)

 

早速ですが、\(X\)の確率測度(または確率分布)も先ほど定義した確率測度同様、以下のように定義されます。

定義 : \(X\)確率分布

可測空間\((\mathbb{R}, \mathcal{B}(\mathbb{R}))\)上の確率測度\(P_{X} : \mathbb{R} \to \mathbb{R}\)が以下を満たすとき\(P_{X}\)を確率分布という。

$$\forall B \in \mathcal{B}(\mathbb{R}),~~P_{X}(B) = P(X^{-1}(B))$$

 

具体的に\((1, 2] \in \mathcal{B}(\mathbb{R})\)のケースを考えると以下のようになります。

$$P_{X}((1, 2]) = P(X^{-1}((1, 2])) = P(\{\omega \in \Omega \mid X(\Omega) \in (1, 2]\})$$

つまり、確率変数\(X\)によって\(\Omega\)が変換され、その変換された要素が\((1, 2]\)の範囲に含まれる確率を表します。

ここからは確率変数を特徴つける関数を紹介していきます。

 

累積分布関数

 

確率変数の確率に関する性質は、以下で定義される『累積分布関数』により特徴付けられます。

 

定義: 累積分布関数

$$F_{X}(x) = P(X \le x)$$

 

右辺は、丁寧に書くと以下を表すことに注意してください。

\begin{align}P(X \le x) &= P(X^{-1}(- \infty, x]) \\ &= P(\{\omega \in \Omega \mid X(\omega) \le x\}) \end{align}

また、\(0 < a <1\)に対して、\(F_{X}(x_{a}) = a\)を満たす\(x_{a}\)を『分位点』といい以下のように与えられます。

$$x_{y} = F_{X}^{-1}(y)$$

色々なところで現れるので覚えておくと良いです!

 

確率質量関数

 

離散型確率変数を特徴つける関数として、以下で定義される『確率質量関数』があります。

定義: (確率質量関数)

離散型確率変数\(X\)に対して以下を確率関数または確率質量関数という。

$$f_{X}(x) = P(X=x)$$

 

同様に右辺を丁寧に書くと以下を表すことに注意してください。

$$P(X = x) = P_{X}((x, x]) = P(\{\omega \in \Omega \mid X(\omega) \in (x, x])$$

一般に離散型確率変数\(X\)の標本空間を\(\mathcal{X} = \{x_{1}, \ldots\)として、\(P(X=x_{i}) \equiv p(x_{i}) \)とすると確率関数は以下のように表すことができます。

$$f_{X}(x) = \begin{cases} p(x_{i}) & x=x_{i} \\ 0 & x \notin \mathcal{X}  \end{cases}$$

連続型確率変数の場合、累積分布関数は連続関数となり、確率質量関数は以下のように\(0\)になってしまいます。

$$P(X =x) = F_{X}(x) – \lim_{\epsilon \to -0} F_{X}(x + \epsilon) = 0$$

そのため一点の確率を扱うことは不可能で代替品として確率密度関数が使用されます。

 

確率密度関数

 

連続関数では、一点の確率を扱うことは不可能でした。

その代わりに以下で定義される確率密度関数が使用されます。

定義 確率密度関数

連続型確率変数\(X\)に対して以下を満たす関数\(f_{X}(x)\)が存在するとき、\(f_{X}(x)\)を確率密度関数という。

$$F_{X}(x) = \int_{- \infty}^{x} f_{X}(t) dt,~~~(x \in (-\infty, \infty))$$

 

確率密度関数\(f_{X}(x)\)は以下を満たします。

  • \(f_{X}(x) \le 0\)
  • \(\int_{-\infty}^{\infty} f_{X}(x) dx = 1 \)

 

定義から確率密度関数は累積分布関数を微分することで得ることができます。

$$f_{X}(x) = \frac{d}{dx} F_{X}(x)$$

 

参考資料

 

本記事を作成するために使用した参考資料を紹介します。

参考文献

 

参考文献を共有します。

現代数理統計学の基礎 (共立講座 数学の魅力)

 

統計学の本で一番愛用している一冊です。

確率空間・確率変数の解説も冒頭で行っています。

 

まとめ

 

本記事では、確率空間と確率変数についてまとめました。

勉強中のため随時更新していきます。

間違いがありましたらコメントよろしくお願いします。

私がおすすめする統計学の参考書は下記にまとめました。

 

https://dreamer-uma.com/statistics-books/

 

ABOUT ME
努力のガリレオ
【運営者】 : 東大で理論物理を研究中(経歴)東京大学, TOEIC950点, NASA留学, カナダ滞在経験有り, 最優秀塾講師賞, オンライン英会話講師試験合格, ブログと独自コンテンツで収益6桁達成 【編集者】: イングリッシュアドバイザーとして勤務中(経歴)中学校教諭一種免許取得[英語],カナダ留学経験あり, TOEIC650点
【大学生・大学院生限定】Amazon Prime Studentが圧倒的におすすめ

 

『Amazon Prime Student』は、大学生・大学院生限定のAmazon会員制度です。

Amazonを使用している方なら、必ず登録すべきサービスといっても過言ではありません…

主な理由は以下の通りです。

  1. Amazon Prime』のサービスを年会費半額で利用可能
  2. 本が最大10%割引
  3. 文房具が最大20%割引
  4. 日用品が最大15%割引
  5. お急ぎ便・お届け日時指定便が使い放題
  6. 6ヶ月間無料で使用可能

 

特に専門書や問題集をたくさん買う予定の方にとって、購入価格のポイント10%還元はめちゃめちゃでかいです!

少なくとも私は、Amazon Prime Studentを大学3年生のときに知って、めちゃめちゃ後悔しました。

専門書をすでに100冊以上買っていたので、その10%が還元できたことを考えると泣きそうでした…ww

より詳しい内容と登録方法については下記を参考にしてください。

 

https://dreamer-uma.com/prime-student/

 

 

登録も退会もめちゃめちゃ簡単なので、6ヶ月の無料体験期間だけは経験してみても損はないと思います。