0. 概率论基础

\quad\quad在生活中或自然中，处处都存在随机现象，比如每次抛硬币的结果有正面有反面，同样状态下枪连续发射多次，弹着点是一个范围，这就是随机性。更加严谨的说，在相同条件下对其做大量重复试验，每次结果未必相同或者知道过去的状态，但在事情发生前不能预知未来，这种非确定性现象就是随机。

0.1 概率的初步认知

\quad\quad人们对概率的认知主要来自于重复试验的事件发生频次，即在相同条件下进行了$n$次试验，事件$A$发生了$m$次，那么其频率为$f_n(A)=\frac{m}{n}$，我们称之为事件A发生的概率。
\quad\quad对于一个随机现象，其所有可能发生的结果组成样本空间$\Omega$，那么在样本空间上的概率为$P(\Omega )=1$。如果部分的试验结果组成集合$A$，那么有$A\subset \Omega$，同时有概率$0\le P(A)\le 1$满足。集合论的运算律通过文氏图能够清晰的显示，同样可以用文氏图来说明概率的一些运算律。
\quad\quad 1.加法 \quad\quad $$P(A\cup B)=P(A)+P(B)-P(A\cap B)\text{\hspace{1em}(0-1)}$$
下左图中， $P(A\cup B)$为A和B组成阴影部分的概率，下右图中$P(A\cap B)$为A和B相交部分的概率，上式意思为A或B发生的概率为A单独发生和B单独发生的概率之和减去A和B同时发生的概率。

\quad\quad 2.除法
\quad\quad 在讲除法时前先要引入条件概率的定义，即当B发生时A发生的概率称为B条件下A的概率，记为$P(A|B)$。当B发生时，样本空间变为${\Omega }^{{}^{\prime }}=B$，那么此时A发生的概率用在原样本空间$\Omega$上定义的概率来表示即
$$P(A|B)=\frac{P(A\cap B)}{P(B)}\text{\hspace{1em}(0-2)}$$
这就是概率的除法。

\quad\quad 3.乘法 \quad\quad 将上式分母乘到左侧就是概率乘法，特别的当A和B为独立的事件，那么乘法可以变为
$$P(A\cap B)=P(A|B)P(B)=P(A)P(B)\text{\hspace{1em}(0-3)}$$
**注1：这里可以得到全概率公式，即对于${\cup }_{i=1}^n{B}_i=\Omega$，有$P(A)={\sum }_{i=1}^{n}P(A|B_i)P(B_i)$
**注2：同时可以得到贝叶斯公式，由$P(A\cap B)=P(A|B)P(B)=P(B|A)P(A)$可以得到$P(B|A)=\frac{P(A|B)P(B)}{{\sum }_{i=1}^{n}P(A|B_i)P(B_i)}$

0.2 随机变量的分布

\quad\quad 对于离散随机变量，其在某点上的概率为$P(X=x)$，称为频率函数，随机变量取小于或等于某一状态量的概率为$F_X(x)=P(X\le x)$，称为累积函数（代表离散随机变量取值$X\le x$概率和）
\quad\quad 对于连续随机变量有一点变化，连续随机变量在一点上概率为零，但其在某区间上的概率可以定义为$P(a\le X\le b)={\int }_a^b{f}_X(x)dx$称为概率密度函数(pdf)，随机变量取小于或等于某一状态量的概率为$F_X(x)=P(X\le x)={\int }_{-\infty }^x{f}_X(x^{\prime })d{x}^{\prime }$，称为累积函数(cdf)。
\quad\quad 离散常用的有伯努利分布、二项分布、几何分布、泊松分布等，连续常用的有正态分布(高斯分布)、指数分布、均匀分布，详见附录A。

0.3 随机变量的数字特征

0.3.1 随机变量的期望算子

\quad\quad首先，先引入期望算子$E(\cdot )$，对于离散型随机变量，其对随机变量函数的期望为
$$E(g(x))=\sum _{i}g(x_i)P(X=x_i)\text{\hspace{1em}(0-4)}$$
\quad\quad对于连续型随机变量，其对随机变量函数的期望为
$$E(g(x))={\int }_{-\infty }^{+\infty }g(x)f_X(x)dx\text{\hspace{1em}(0-5)}$$
**注：当然随机变量期望存在的前提条件为期望和式收敛或期望积分式是有限的。
\quad\quad期望算子是一个线性算子，即有下式成立
$$E(Y=a+\sum _{i=1}^n{X}_i)=a+\sum _{i=1}^{n}E(X_i)\text{\hspace{1em}(0-6)}$$

0.3.2 随机变量的矩

\quad\quad矩是随机变量重要数字特征，定义$k$阶原点矩，如下所示（连续随机变量，离散同理可列，这里暂略）
$$E(x^k)={\int }_{-\infty }^{+\infty }{x}^k{f}_X(x)dx\text{\hspace{1em}(0-7)}$$
\quad\quad那么显然随机变量的一阶原点矩就是均值$\mu$，即有$E(x)={\int }_{-\infty }^{+\infty }x{f}_X(x)dx=\mu$
\quad\quad随机变量的二阶原点矩是均方值。如果$X(i)$是在单位电阻上的随机电流，那么其上的功率为$p=x^2\cdot 1$，这时功率是随机变量$X(i)$的函数，那么其期望为
$$E(x^2)={\int }_{-\infty }^{+\infty }{x}^2{f}_X(x)dx={\int }_{-\infty }^{+\infty }{x}^2\cdot 1\cdot f_X(x)dx={\int }_{-\infty }^{+\infty }p\cdot f_X(x)dx\text{\hspace{1em}(0-8)}$$
因此，也称随机变量$X(i)$二阶原点矩为平均功率（此处的平均是指概率平均）。
\quad\quad定义$k$阶中点矩如下
$$E([x-E(x){]}^k)={\int }_{-\infty }^{+\infty }[x-E(x){]}^k{f}_X(x)dx\text{\hspace{1em}(0-9)}$$
\quad\quad随机变量$X(i)$二阶中心矩就是方差${\sigma }_X^2=E([x-E(x){]}^2)={\int }_{-\infty }^{+\infty }[x-E(x){]}^2{f}_X(x)dx$
以上是对一维随机变量，二维的随机变量的矩定义如下
\quad\quad联合原点矩：
$$E(x^m{y}^n)={\int }_{-\infty }^{+\infty }{x}^m{y}^n{f}_{XY}(x,y)dx\text{\hspace{1em}(0-10)}$$
\quad\quad联合中心距:
$$E[(x-{\mu }_x{)}^m(y-{\mu }_y{)}^n]={\int }_{-\infty }^{+\infty }(x-{\mu }_x{)}^m(y-{\mu }_y{)}^n{f}_{XY}(x,y)dx\text{\hspace{1em}(0-11)}$$
联合中心距在$m=n=1$时特别有用，称为协方差$C(x,y)=E[(x-{\mu }_x)(y-{\mu }_y)]=E(xy)-{\mu }_x{\mu }_y$
其意义为随机变量$X$和随机变量$Y$取值存在的相互关联性，将其归一化，如下称为相关系数
$${\rho }_{XY}=\frac{C(x,y)}{{\sigma }_X{\sigma }_Y}\text{\hspace{1em}(0-12)}$$

0.4 随机变量的特征函数

\quad\quad在概率计算或者推理过程中，往往会用到以下函数
$$E(e^{i\theta x})={\int }_{-\infty }^{+\infty }{e}^{i\theta x}{f}_X(x)dx\text{\hspace{1em}(0-13)}$$

0.5 高数基础

\quad\quad分布积分：
$${\int }_a^{b}f(x)g^{{}^{\prime }}(x)dx=f(x)g(x){|}_a^b-{\int }_a^b{f}^{{}^{\prime }}(x)g(x)dx\text{\hspace{1em}(0-14)}$$
\quad\quad积分换元：
$${\int }_a^{b}f(x)dx={\int }_{\alpha }^{\beta }f(\phi (t)){\phi }^{{}^{\prime }}(t)d(t)\text{\hspace{1em}(0-15)}$$

\quad\quad特殊积分：
$${\int }_{-\infty }^{+\infty }{e}^{-x^2}dx=\sqrt{\pi }\text{\hspace{1em}(0-16)}$$

附录A 典型分布

一维正态分布（高斯分布）：
$$概率密度函数:f(x)=\frac{1}{\sigma \sqrt{2\pi }}\exp (-\frac{(x-\mu {)}^2}{2{\sigma }^2})\text{\hspace{1em}(0-17)}$$
高斯分布在概率论、统计、随机过程等占据非常核心的位置，在工业界、物理界也是最常存在的一种随机变量分布，比如误差模型等。

指数分布
$$概率密度函数:f(x)=\{\begin{array}{ll}\lambda \exp (-\lambda x),& x\ge 0\\ 0,& x<0\end{array}\text{\hspace{1em}(0-18)}$$
指数分布是有解析形式的累积分布函数的，如下
$$累积分布函数:F(x)=\{\begin{array}{ll}1-\exp (-\lambda x),& x\ge 0\\ 0,& x<0\end{array}\text{\hspace{1em}(0-19)}$$
指数分布常用于电子元件的寿命预估中，而且指数分布有一个特点是无记忆性，即
$$P(T>t+s|T>s)=\frac{P(T>t+s)}{P(T>s)}=\frac{1-F(t+s)}{1-F(s)}=\frac{\exp (-\lambda (t+s))}{\exp (-\lambda s)}=\exp (-\lambda t)\text{\hspace{1em}(0-20)}$$
当一个电子元件不失效的寿命为$s$的情况下，继续过$t$时间不失效的概率和一个电子元件寿命为$t$不失效一样。

泊松分布
泊松分布是一类非常重要的离散型分布，其频率函数如下
$$频率函数：P(X=k)=\frac{{\lambda }^k}{k!}\exp (-\lambda )\text{\hspace{1em}(0-21)}$$
泊松分布的来源或者说其本质假设是（1）不同次的抽样试验发生的概率相同，（2）不同次的抽样试验发生彼此独立，（3）不同次的抽样试验中试验结果得是互斥的。
值得指出的是，泊松分布和指数分布有很大的联系，假设每单位时间长度发生A事件的次数概率服从参数为$\lambda$泊松分布，那么当$t=t_0$时刻发生事件A，那么在$(t_0,t_0+t)$时间内发生A事件次数服从$\lambda t$泊松分布。那么在$(t_0,t_0+t)$时间内不发生事件A的概率为
$$P(X=0)=\frac{(\lambda t{)}^0}{0!}\exp (-\lambda t)=\exp (-\lambda t)\text{\hspace{1em}(0-22)}$$
因此在$t=t_0$时刻发生事件A的情况下，下一次事件A发生的时间至少为$t$的概率为
$$P(T>t)=\exp (-\lambda t)\text{\hspace{1em}(0-23)}$$
因此下一次事件A发生的时间至多为$t$时间服从指数分布
$$P(T<t)=1-\exp (-\lambda t)\text{\hspace{1em}(0-24)}$$
参考文献
[1] John A.Rice. Mathematical Statistics and Data Analysis(Third Edition)