1）回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。 在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。

2）一般回归是和预测有关，比如预测价格(房屋，股票等)
3）线性回归的基本元素
首先，假设自变量x和因变量y之间的关系是线性的， 即y可以表示为x中元素的加权和，这里通常允许包含观测值的一些噪声； 其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。

4）深度学习实践者很少会去花费大力气寻找这样一组参数，使得在训练集上的损失达到最小。 事实上，更难做到的是找到一组参数，这组参数能够在我们从未见过的数据上实现较低的损失， 这一挑战被称为泛化（generalization）。

5)对于线性回归，每个输入都与每个输出（在本例中只有一个输出）相连， 我们将这种变换（图中的输出层） 称为全连接层（fully-connected layer）或称为稠密层（dense layer）

**最小化均方误差（MSE）等价于对线性模型进行极大似然估计（MLE）**，这句话的意思是：在高斯噪声的假设下，通过最小化均方误差（MSE）来优化线性回归模型参数，和通过极大似然估计（MLE）来优化线性回归模型参数，这两种方法是等价的，即它们最终会得到相同的模型参数估计结果。

• 机器学习模型中的关键要素是训练数据、损失函数、优化算法，还有模型本身。

• 矢量化使数学表达上更简洁，同时运行的更快。

• 最小化目标函数和执行极大似然估计等价。

• 线性回归模型也是一个简单的神经网络。