【定義・性質】カテゴリ分布（カテゴリカル分布）

本記事では、カテゴリ分布の定義と性質を丁寧に解説します。

数多ある確率分布を理解するために最も重要なのは、数式を理解することのみならず、どんな確率分布かを（わかりやすく）言葉で伝えられることです。

そのため、カテゴリ分布をここで簡単に言葉で伝えておきます。

カテゴリ分布とは

複数の離散値（例えば, 1, 2, …）から一つの値をとる変数の確率分布

ここからは、具体的に定義を説明していきます。

カテゴリ分布の定義

ここからは、カテゴリ分布の定義を説明していきます。

本質的には、同じですがカテゴリ分布には二種類の定義が存在します。

one-hotベクトルを使用する定義
Iverson bracketを使用する定義

それでは、順番に説明していきます。

カテゴリ分布の定義 : one-hotベクトルを使用する定義

one-hotベクトルとは、ある$N$次元のある一つの要素が1でそれ以外が0のベクトルです（e.g. $\mathbf{x} = (0, 0, 1, 0, 0)$）。

それでは、one-hotベクトルを用いたカテゴリ分布の定義を確認しましょう。

定義

$K$種類の離散値$1, \ldots, K$が存在するカテゴリ分布は、パラメータ$\mathbf{p}=(p_{1}, \ldots, p_{K})$と離散値に対応するone-hotベクトル$\mathbf{x} = (x_{1}, \ldots, x_{K})$を用いて次のように定義される。

$$\mathrm{Cat}(\mathbf{x} \mid \mathbf{p}) = \prod_{k=1}^{K} p_{k}^{x_{k}}$$

ここで、$\mathbf{p}$の各要素は次の条件を満たす。

$$0 < p_{k} < 1,~~~\sum_{k=1}^{K} p_{k}=1$$

具体例 : サイコロ

サイコロの場合、離散値は$1, \ldots, 6$となり、パラメータは（サイコロの形が歪でない限り）$\mathbf{p} = (1/6, \ldots, 1/6)$となります。

この場合、カテゴリ分布は次のように表せます。

$$\mathrm{Cat}(\mathbf{x} \mid \mathbf{p}) = \left(\frac{1}{6} \right)^{x_{1}} \cdots \left(\frac{1}{6} \right)^{x_{6}}$$

例えば、サイコロの出目が$2$のとき対応するone-hotベクトルは、$\mathbf{x}^{\prime} = (0, 1, 0, 0, 0, 0)$であり、カテゴリ分布は次のように計算できます。

\begin{align} \mathrm{Cat}(\mathbf{x}=\mathbf{x}^{\prime} \mid \mathbf{p}) &= \left(\frac{1}{6} \right)^{x_{1}=0} \left(\frac{1}{6} \right)^{x_{2}=1} \cdots \left(\frac{1}{6} \right)^{x_{6}=0} \\ &= \frac{1}{6} \end{align}

カテゴリ分布の定義 : Iverson bracketを使用する定義

Iverson bracketとは、次のように定義される記法です。

定義 : Iverson bracket

ある論理$P$が真なら1、偽ならば0となる記法で次のように定義される。

$$[P] = \begin{cases} 1 & \text{Pが真} \\ 0 & \text{Pが偽} \end{cases}$$

引用 : Iverson bracket (Wikipedia)

それでは、Iverson bracketを用いたカテゴリ分布の定義を確認します。

定義 : カテゴリ分布

$K$種類の離散値$1, \ldots, K$が存在するカテゴリ分布は、パラメータ$\mathbf{p}=(p_{1}, \ldots, p_{K})$を用いて次のように定義される。

$$\mathrm{Cat}(x \mid \mathbf{p}) = \prod_{k=1}^{K} p_{k}^{[x=k]}$$

ここで、$\mathbf{p}$の各要素は次の条件を満たす。

$$0 < p_{k} < 1,~~~\sum_{k=1}^{K} p_{k}=1$$

同様にサイコロの例を用いて説明します。

具体例 : サイコロ

サイコロの場合、離散値は$1, \ldots, 6$となり、パラメータは（サイコロの形が歪でない限り）$\mathbf{p} = (1/6, \ldots, 1/6)$となります。

この場合、Iverson bracketを用いたカテゴリ分布は次のように表せます。

$$\mathrm{Cat}(x \mid \mathbf{p}) = \left(\frac{1}{6} \right)^{[x=1]} \cdots \left(\frac{1}{6} \right)^{[x=6]}$$

例えば、サイコロの出目が$2$のとき、カテゴリ分布は次のように計算できます。

\begin{align} \mathrm{Cat}(x=2 \mid \mathbf{p}) &= \left(\frac{1}{6} \right)^{[2=1]} \left(\frac{1}{6} \right)^{[2=2]} \cdots \left(\frac{1}{6} \right)^{[2=6]} \\ &= \frac{1}{6} \end{align}