機械学習のための数学 PR

【定義・性質】カテゴリ分布(カテゴリカル分布)

記事内に商品プロモーションを含む場合があります

本記事では、カテゴリ分布の定義と性質を丁寧に解説します。

数多ある確率分布を理解するために最も重要なのは、数式を理解することのみならず、どんな確率分布かを(わかりやすく)言葉で伝えられることです。

そのため、カテゴリ分布をここで簡単に言葉で伝えておきます。

カテゴリ分布とは

複数の離散値(例えば, 1, 2, …)から一つの値をとる変数の確率分布

ここからは、具体的に定義を説明していきます。

 

カテゴリ分布の定義

ここからは、カテゴリ分布の定義を説明していきます。

本質的には、同じですがカテゴリ分布には二種類の定義が存在します。

  • one-hotベクトルを使用する定義
  • Iverson bracketを使用する定義

それでは、順番に説明していきます。

カテゴリ分布の定義 : one-hotベクトルを使用する定義

 

one-hotベクトルとは、ある\(N\)次元のある一つの要素が1でそれ以外が0のベクトルです(e.g. \(\mathbf{x} = (0, 0, 1, 0, 0)\))。

それでは、one-hotベクトルを用いたカテゴリ分布の定義を確認しましょう。

定義

\(K\)種類の離散値\(1, \ldots, K\)が存在するカテゴリ分布は、パラメータ\(\mathbf{p}=(p_{1}, \ldots, p_{K})\)と離散値に対応するone-hotベクトル\(\mathbf{x} = (x_{1}, \ldots, x_{K})\)を用いて次のように定義される。

$$\mathrm{Cat}(\mathbf{x} \mid \mathbf{p}) = \prod_{k=1}^{K} p_{k}^{x_{k}}$$

ここで、\(\mathbf{p}\)の各要素は次の条件を満たす。

$$0 < p_{k} < 1,~~~\sum_{k=1}^{K} p_{k}=1$$

 

具体例 : サイコロ

 

サイコロの場合、離散値は\(1, \ldots, 6\)となり、パラメータは(サイコロの形が歪でない限り)\(\mathbf{p} = (1/6, \ldots, 1/6)\)となります。

この場合、カテゴリ分布は次のように表せます。

$$\mathrm{Cat}(\mathbf{x} \mid \mathbf{p}) = \left(\frac{1}{6}  \right)^{x_{1}} \cdots \left(\frac{1}{6}  \right)^{x_{6}}$$

例えば、サイコロの出目が\(2\)のとき対応するone-hotベクトルは、\(\mathbf{x}^{\prime} = (0, 1, 0, 0, 0, 0)\)であり、カテゴリ分布は次のように計算できます。

\begin{align} \mathrm{Cat}(\mathbf{x}=\mathbf{x}^{\prime} \mid \mathbf{p}) &= \left(\frac{1}{6}  \right)^{x_{1}=0} \left(\frac{1}{6}  \right)^{x_{2}=1} \cdots \left(\frac{1}{6}  \right)^{x_{6}=0} \\ &= \frac{1}{6} \end{align}

 

カテゴリ分布の定義 : Iverson bracketを使用する定義

 

Iverson bracketとは、次のように定義される記法です。

定義 : Iverson bracket

ある論理\(P\)が真なら1、偽ならば0となる記法で次のように定義される。

$$[P] = \begin{cases} 1 & \text{Pが真} \\ 0 & \text{Pが偽} \end{cases}$$

引用 : Iverson bracket (Wikipedia)

それでは、Iverson bracketを用いたカテゴリ分布の定義を確認します。

定義 : カテゴリ分布

\(K\)種類の離散値\(1, \ldots, K\)が存在するカテゴリ分布は、パラメータ\(\mathbf{p}=(p_{1}, \ldots, p_{K})\)を用いて次のように定義される。

$$\mathrm{Cat}(x \mid \mathbf{p}) = \prod_{k=1}^{K} p_{k}^{[x=k]}$$

ここで、\(\mathbf{p}\)の各要素は次の条件を満たす。

$$0 < p_{k} < 1,~~~\sum_{k=1}^{K} p_{k}=1$$

同様にサイコロの例を用いて説明します。

具体例 : サイコロ

 

サイコロの場合、離散値は\(1, \ldots, 6\)となり、パラメータは(サイコロの形が歪でない限り)\(\mathbf{p} = (1/6, \ldots, 1/6)\)となります。

この場合、Iverson bracketを用いたカテゴリ分布は次のように表せます。

$$\mathrm{Cat}(x \mid \mathbf{p}) = \left(\frac{1}{6}  \right)^{[x=1]} \cdots \left(\frac{1}{6}  \right)^{[x=6]}$$

例えば、サイコロの出目が\(2\)のとき、カテゴリ分布は次のように計算できます。

\begin{align} \mathrm{Cat}(x=2 \mid \mathbf{p}) &= \left(\frac{1}{6}  \right)^{[2=1]} \left(\frac{1}{6}  \right)^{[2=2]} \cdots \left(\frac{1}{6}  \right)^{[2=6]} \\ &= \frac{1}{6} \end{align}

ABOUT ME
努力のガリレオ
【運営者】 : 東大で理論物理を研究中(経歴)東京大学, TOEIC950点, NASA留学, カナダ滞在経験有り, 最優秀塾講師賞, オンライン英会話講師試験合格, ブログと独自コンテンツで収益6桁達成 【編集者】: イングリッシュアドバイザーとして勤務中(経歴)中学校教諭一種免許取得[英語],カナダ留学経験あり, TOEIC650点
【大学生・大学院生限定】Amazon Prime Studentが圧倒的におすすめ

 

『Amazon Prime Student』は、大学生・大学院生限定のAmazon会員制度です。

Amazonを使用している方なら、必ず登録すべきサービスといっても過言ではありません…

主な理由は以下の通りです。

  1. Amazon Prime』のサービスを年会費半額で利用可能
  2. 本が最大10%割引
  3. 文房具が最大20%割引
  4. 日用品が最大15%割引
  5. お急ぎ便・お届け日時指定便が使い放題
  6. 6ヶ月間無料で使用可能

 

特に専門書や問題集をたくさん買う予定の方にとって、購入価格のポイント10%還元はめちゃめちゃでかいです!

少なくとも私は、Amazon Prime Studentを大学3年生のときに知って、めちゃめちゃ後悔しました。

専門書をすでに100冊以上買っていたので、その10%が還元できたことを考えると泣きそうでした…ww

より詳しい内容と登録方法については下記を参考にしてください。

 

Prime Studentの特典・登録方法【学生限定最強特典!】Prime Studentの特典・登録方法【学生限定最強特典!】 学生にとって超おすすめな『Prime Student』のメリット...

 

 

登録も退会もめちゃめちゃ簡単なので、6ヶ月の無料体験期間だけは経験してみても損はないと思います。