【1】引言

前序学习进程中，已经对概率论的基础知识做了学习，比如贝特斯公式、朴素贝叶斯算法拉普拉斯平滑计算条件概率等。
在此基础上，我们又对scikit-learn的使用进行了初步探索。
随着学习的深入，对样本数据的处理越来越重要，之前已经学习了变量去中心化和标准化，现在我们要追溯一个未来将长期使用的参数：协方差。

【2】协方差定义

协方差可以描述两个随机变量之间的线性相关程度，可以衡量两个变量如何“共同变化”。
对于两个随机变量$X$和$Y$，记录协方差为$Cov(X,Y)$，有：
$$Cov(X,Y)=E[X-E(X)(Y-E(Y))]$$
机器学习往往只能面向样本，此时需要校正上述公式：假设样本为$[(x_1,y_1),(x_2,y_2),...,(x_n,y_n)]$，则对应的样本均值有
$$\bar{x}=\frac{1}{n}\sum _{i=1}^n{x}_i$$
$$\bar{y}=\frac{1}{n}\sum _{i=1}^n{y}_i$$
此时的样本协方差计算式为：
$$cov(x,y)=\frac{1}{n-1}\sum _{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$$

【3】协方差含义

若$Cov(X,Y)>0$：$X$和$Y$正相关；
若$Cov(X,Y)=0$：$X$和$Y$线性不相关；
若$Cov(X,Y)<0$：$X$和$Y$负相关；

【4】协方差的性质

对称性：$Cov(X,Y)=Cov(Y,X)$
与方差的关系：变量自身的协方差等于方差，$Cov(X,X)=Var(x)$
线性性质：
$$Cov(aX+b,cY+d)=ac\cdot Cov(X,Y)$$

$$Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)$$

【5】总结

学习了协方差的基础知识。