Science

積率母関数・特性関数とは【確率分布の統計量を楽に計算しましょう】

特性関数・生成関数とは【確率分布の統計量を楽に計算しましょう】

 

Yuma
Yuma
実は、確率分布から直接m次モーメントなどを計算するのが困難なときが結構あります。今回は、これらの計算をより簡単にできる特性関数・生成関数を説明していきます。

この記事では、容易にm次モーメントを計算する道具である『生成関数・特性関数』を具体的に数式を使いながら解説していきます。

m次モーメント?』という人は下記の記事(10分程度で読み終わる)を参考にして理解してから読み進めてください

*(iphone・Androidの方へ)数式はスクロール可能です。

一変数確率分布関数の基本(確率分布を特徴つける7つの量)一変数確率分布を特徴つける量の理解は、機械学習や量子力学・統計力学を学ぶ上で必要不可欠です。この記事では、一変数確率分布を特徴つける量をサクッと理解できるように簡単に解説しながらまとめました。...

 

積率母関数(モーメント生成関数)と特性関数について

 

まずは、積率母関数(モーメント生成関数)と特性関数の定義と基本的な性質を紹介します。

 

積率母関数(モーメント生成関数)の定義

 

積率母関数(モーメント生成関数)は、以下のように定義されます。

定義 : 積率母関数(モーメント生成関数)

任意の\(t \in \mathbb{R} \)に対して

$$M_{X}(t) = \mathbb{E}\left[e^{t X}  \right]$$

が存在するとき、\(M_{X}(t)\)を\(X\)の積率母関数(モーメント生成関数)という。

 

なぜ、積率母関数(モーメント生成関数)と呼ばれているかというと、積率母関数を\(t\)に関して微分することにより任意のモーメントを計算することができるからです。

$$\mathbb{E}\left[ X^{k} \right] = \left. \frac{d^{k}}{dt^{k}} M_{X}(t) \right|_{x=0}$$

 

また、定義から\(M_{X}(-t)\)は、以下のような確率密度関数\(f_{X}(t)\)の両側ラプラス変換に対応します。

 

$$M_{X}(t) = \int_{-\infty}^{\infty} e^{-tx} f_{X}(x) dx$$

 

積分が収束しない場合、モーメントと積率母関数が存在しない可能性があります。

 

特性関数の定義

 

特性関数は以下のように定義されます。

定義 : 特性関数

任意の\(t \in \mathbb{R} \)に対して

$$\varphi_{X}(t) = \mathbb{E}\left[e^{itX} \right] $$

を特性関数という。

 

特性関数も\(t\)に関して微分することで任意のモーメントを計算することができます。

$$\mathbb{E}[X^{k}] = \frac{1}{i^{k}} \left. \frac{d^{k}}{dt^{k}} \varphi_{X}(t) \right|_{x=0}$$

 

さらに、\(|e^{ai}| =1 \)より、\(|\varphi_{X}(t)| \le 1 \)となるため特性関数は常に存在します。

 

同様に、特性関数も以下のように、確率密度関数のフーリエ変換に対応します。

 

$$\varphi_{X}(t) = \int_{- \infty}^{\infty} e^{itx} f_{X}(x) dx$$

 

特性関数の性質

 

証明は省略しますが、特性関数に関する便利な性質を紹介します。

\(\varphi_{X}(t)\)が確率密度関数のフーリエ変換となることを思い出せば、フーリエ逆返還を利用すれば特性関数から確率密度関数を導くことができます。

定理 : 

\(X\)が連続型確率変数かつ\(\int_{-\infty}^{\infty} |\varphi_{X}(t)|dt < \infty\)のとき以下が成り立つ。

$$f_{X}(x) = \frac{1}{2 \pi} \int_{-\infty}^{\infty} e^{-itx} \varphi_{X}(t) dt$$

 

さらに、以下の定理が成り立ちます。

定理

特性関数と累積分布関数は一対一対応する。

 

そのため、確率変数のふるまいを決定するのに特性関数を用いることができます。

 

また、連続性定理と呼ばれる以下のような性質が成り立ちます。

定理 : 連続性定理

確率変数列\(\{X_{k}\}_{k=1, \ldots}\)に対して、\(X_{k}\)の特性関数\(\varphi_{X_{k}}(t)\)が以下のように\(\varphi_{X}(t)\)に収束することを仮定する。

$$\lim_{k \to \infty} \varphi_{X_{k}}(t) = \varphi_{X}(t)$$

ここで、\(\varphi_{X}(t)\)に対応する累積分布関数を\(F_{X}(x)\)とすると、任意の\(x \in \mathbb{R}\)で以下が成り立つ。

$$\lim_{k \to \infty} F_{X_{k}}(x) = F_{X}(x) $$

 

この定理から、\(k \to \infty\)のとき、\(X_{k}\)の分布は\(X_{k}\)の特性関数の極限に対応する累積分布関数に収束することがわかります。

 

積率母関数と特性関数の関係

 

特性関数と積率母関数は、以下のような関係で結びついています。

$$\varphi_{X}(t) = M_{X}(it)$$

 

 

 

ABOUT ME
努力のガリレオ
【運営者】 : 東大で理論物理を研究中(経歴)東京大学, TOEIC950点, NASA留学, カナダ滞在経験有り, 最優秀塾講師賞, オンライン英会話講師試験合格, ブログと独自コンテンツで収益6桁達成 【編集者】: イングリッシュアドバイザーとして勤務中(経歴)中学校教諭一種免許取得[英語],カナダ留学経験あり, TOEIC650点
【必見】オンライン英会話を利用しないのは時代遅れ?

 

 

英語学習でオンライン英会話を利用しないのは、時代遅れです…

 

『スピーキングができないから、オンライン英会話はまだまだ後回し…』と思っている方は大間違いです。

 

最近のオンライン英会話は、教材が豊富で、もはや参考書・問題集は不要になりつつあります…

また、多くのオンライン英会話が最新メソッドを導入して、スピーキングのみならず、リーディング・リスニング・ライティングの能力も上がる教材を導入しています。

さらに、効率的な記憶ツールや学習カウンセリングのサービスが提供されることもあります!!

 

特に初心者の方は、下記の記事で紹介しているオンライン英会話をチェックしてみてください。

 

【東大生が厳選】初心者にオススメなオンライン英会話10選実は、最適なオンライン英会話はユーザーによって異なります。本記事では、複数のオンライン英会話を経験した私が、他社と比較しつつ特徴を明確にして本当にオススメできるオンライン英会話を10個厳選しました。...

 

中には、2週間の無料体験期間を提供しているオンライン英会話もあります。

英語学習が滞っている方や英語学習を習慣化できていない方は無料体験期間で良いので挑戦してみてください。

何事も行動することが大切です。

 

また、多くのオンライン英会話がTOEICやTOEFL等の外部英語試験の対策レッスンを提供してきています。

中には、追加料金なしで、本番さながらの対策や面接対策を行うことができるオンライン英会話もあります。

 

特にTOEIC対策に強いオンライン英会話は下記を参考にしてください。

 

【徹底比較】TOEIC対策に強いオンライン英会話5選|東大生が厳選!オンライン英会話はTOEICのスコアを効率的に上げる最強のツールです。本記事では、TOEICにオンライン英会話が効果的な理由とTOEIC対策に強いオンライン英会話を厳選しました。詳しい内容は記事を参考にしてください。...

 

TOEFL対策に強いオンライン英会話に関しては下記を参考にしてください。

 

【徹底比較】TOEFL対策に強いオンライン英会話5選|東大生が厳選!TOEFL対策にオンライン英会話は有効です。事実、私もTOEFL対策のためにオンライン英会話を使用してTOEFL ibtの4技能、TOEFL itpのスコアを爆上げすることができました。この記事では、私が思うTOEFL対策に最適なオンライン英会話を紹介しました。...