重读生成概率模型1----基础概念

1 KL 散度

KL 散度的作为是描述两个分布的差异的，首先是度量一个分布，用熵来度量。

1.1 熵

在介绍熵之间，首先要度量单个事件的信息量
$I (x) = - l o g P (x)$
整体的信息量
$\begin{aligned} H(P) &=E_{x~P}[-logP(x)] \\ & = -\sum P(x)logP(x) \end{aligned}$

1.2 KL 散度

原本数据真实的分布应该是p(x),但是现在搞错了，搞成q(x)
本来一个信息应该用-logP(x)描述，现在变成了-logq(x),
$\begin{aligned} D_{KL}(P||Q)=E_{x~p}[log\frac{P(x)}{Q(x)}]=\sum_xP(x)log\frac{P(x)}{Q(x)} \end{aligned}$

1.3 应用

softmax分类问题的KL散度
对于每个样本来说，正确的类别
$\begin{aligned} P(x_k)=1,Q(x_k)=\frac{e^{x_k}}{e^{x_1}+e^{x_2}+...+e^{x_n}} \\ D_{KL}(P||Q)=-logQ(x_k) =-log\frac{e^{x_k}}{e^{x_1}+e^{x_2}+...+e^{x_n}} \end{aligned}$
高斯分布问题的KL 散度
$\begin{aligned} P(x)=\frac{1}{\sqrt{2\pi}} e^{\frac{-x^2}{2}} \\ logP(x)=-\frac{1}{2}log(2\pi)-\frac{x^2}{2} \\ Q(x)=\frac{1}{\sqrt{2\pi}\sigma} e^{\frac{-(x-\mu)^2}{2\sigma^2}} \\ logQ(x)=-\frac{1}{2}log(2\pi)-\frac{(x-\mu)^2}{2\sigma^2}-log(\sigma) \\ D_{KL}(P||Q)=E_p[logP(x)-logQ(x)]=E_p[log_{\sigma}+\frac{(x-\mu)^2}{2\sigma^2}-\frac{x^2}{2} ]\\ D_{KL}(P||Q)=log(\sigma)+\frac{1}{2\sigma^2}E_p[(x-\mu)^2]-\frac{1}{2}E_p(x^2) \\ D_{KL}(P||Q)=log(\sigma)+\frac{1+\mu^2}{2\sigma^2}-\frac{1}{2} \end{aligned}$

其中，直觉的理解是总平方距离=抖动平方+偏移的平方
$\begin{aligned} E_p[(x-\mu)^2] &=E_p[(x-E(x)+E(x)-\mu)^2] \\ & = E_p[(x-E(x)^2)]+2E_p[x-E(x)][E(x)-\mu]+E_p[(E(x)-\mu)^2] \\ & = var(x)+\mu^2 \end{aligned}$

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
如若转载，请注明出处：http://www.pswp.cn/bicheng/98277.shtml
繁体地址，请注明出处：http://hk.pswp.cn/bicheng/98277.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！