Beta分布Dirichlet分布

Beta分布

Beta分布是定义在区间 $[0, 1]$ 上的连续概率分布，通常用于模拟概率或比例的随机变量。Beta分布的概率密度函数（PDF）如下：

$\alpha, \beta) = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha)\Gamma(\beta)}x^{\alpha - 1}(1 - x)^{\beta - 1}$ 其中：

$x$ 是随机变量，取值范围在 $[0, 1]$ 之间。
$\alpha$ 和 $\beta$ 是形状参数，它们都是正实数 $\alpha > 0, \beta > 0 ）$ 。
$\Gamma$ 是伽马函数，它是阶乘函数在实数与复数域上的扩展。

Beta分布的概率密度函数可以进一步简化为：

$\alpha, \beta) = \frac{x^{\alpha - 1}(1 - x)^{\beta - 1}}{B(\alpha, \beta)}$

其中 ( B(\alpha, \beta) ) 是Beta函数，定义为：

$B(\alpha, \beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha + \beta)}$

Beta函数是两个伽马函数的比值，它确保了概率密度函数的积分总和为1。

Dirichlet分布

Dirichlet分布是定义在K维实数向量上的多项分布的共轭先验，通常用于模拟多类别分布。Dirichlet分布的概率密度函数（PDF）如下：

$f(\mathbf{x}; \boldsymbol{\alpha}) = \frac{\Gamma\left(\sum_{i=1}^K \alpha_i\right)}{\prod_{i=1}^K \Gamma(\alpha_i)} \prod_{i=1}^K x_i^{\alpha_i - 1}$

其中：

$\mathbf{x} = (x_1, x_2, \ldots, x_K)$ 是随机变量，每个 $x_i$ 取值范围在 $[0, 1]$ 之间，并且 $\sum_{i=1}^K x_i = 1$ 。
$\boldsymbol{\alpha} = (\alpha_1, \alpha_2, \ldots, \alpha_K)$ 是形状参数，每个 $\alpha_i$ 都是正实数 $\alpha_i > 0 )$ 。
$\Gamma$ 是伽马函数。

Dirichlet分布的概率密度函数可以进一步简化为：

$f(\mathbf{x}; \boldsymbol{\alpha}) = \frac{\prod_{i=1}^K x_i^{\alpha_i - 1}}{\text{Dir}(\boldsymbol{\alpha})}$

其中 ( \text{Dir}(\boldsymbol{\alpha}) ) 是Dirichlet函数，定义为：

$\text{Dir}(\boldsymbol{\alpha}) = \frac{\Gamma\left(\sum_{i=1}^K \alpha_i\right)}{\prod_{i=1}^K \Gamma(\alpha_i)}$

Dirichlet函数确保了概率密度函数的积分总和为1。

Beta分布&Dirichlet分布

Beta分布和Dirichlet分布的概率密度函数都涉及到了伽马函数 $(\Gamma)$ 。这种函数在数学中非常重要，特别是在处理与概率和统计相关的问题时。
两者的概率密度函数都具有幂函数的形式，其中Beta分布是一维的，而Dirichlet分布是多维的。Dirichlet分布可以看作是Beta分布的多维推广。

从Dirichlet分布生成Beta样本

Dirichlet分布的一个有趣性质是，它可以用于生成Beta分布的样本。具体来说，如果我们从Dirichlet分布 $\text{Dir}(\boldsymbol{\alpha})$ 中生成一个样本 $\mathbf{x} = (x_1, x_2, \ldots, x_K)$ ，那么对于任意 $i$ 和 $j$ $\neq j)$ ，比值 $\frac{x_i}{x_i + x_j}$ 服从参数为 $\alpha_i$ 和 $\alpha_j$ 的Beta分布。