1.神经网络
1.1各个激活函数的优缺点？
1.2为什么ReLU常用于神经网络的激活函数？
1.在前向传播和反向传播过程中，ReLU相比于Sigmoid等激活函数计算量小；
2.避免梯度消失问题。对于深层网络，Sigmoid函数反向传播时，很容易就会出现梯度消失问题（在Sigmoid接近饱和区时，变换太缓慢，导数趋于0，这种情况会造成信息丢失），从而无法完成深层网络的训练。3.可以缓解过拟合问题的发生。Relu会使一部分神经元的输出为0，这样就造成了网络的稀疏性，并且减少了参数的相互依存关系，缓解了过拟合问题的发生。
4.相比Sigmoid型函数，ReLU函数有助于随机梯度下降方法收敛。为什么需要激活功能？
激活函数是用来加入非线性因素的，因为线性模型的表达能力不够。
1.3 梯度消失和梯度爆炸的解决方案？梯度爆炸引发的问题？
梯度消失：靠近输出层的hidden layer 梯度大，参数更新快，所以很快就会收敛；而靠近输入层的hidden layer 梯度小，参数更新慢，几乎就和初始状态一样，随机分布。
另一种解释：当反向传播进行很多层的时候，由于每一层都对前一层梯度乘以了一个小数，因此越往前
传递，梯度就会越小，训练越慢。
梯度爆炸：前面layer的梯度通过训练变大，而后面layer的梯度指数级增大。
①在深度多层感知机(MLP)网络中，梯度爆炸会引起网络不稳定，最好的结果是无法从训练数据中学习，而最坏的结果是出现无法再更新的 NaN 权重值。
②在RNN中，梯度爆炸会导致网络不稳定，无法利用训练数据学习，最好的结果是网络无法学习长的输入序列数据。
1.4如何确定是否出现梯度爆炸？
模型不稳定，导致更新过程中的损失出现显著变化；
训练过程中模型梯度快速变大；
训练过程中模型权重变成 NaN 值；
训练过程中，每个节点和层的误差梯度值持续超过 1.0。
1.5神经网络中有哪些正则化技术？
L2正则化（Ridge）; L1正则化（Lasso）;
权重衰减; 丢弃法;
批量归一化; 数据增强
早停法
1.6批量归一化(BN) 如何实现？作用？
实现过程: 计算训练阶段mini_batch数量激活函数前结果的均值和方差，然后对其进行归一化，最后对其进行缩放和平移。
作用：
1.可以使用更高的学习率进行优化；
2.移除或使用较低的 dropout；
3.降低L2权重衰减系数；
4.调整了数据的分布，不考虑激活函数，它让每一层的输出归一化到了均值为0方差为1的分布，这保证了梯度的有效性，可以解决反向传播过程中的梯度问题。
1.7神经网络中权值共享的理解？
权值共享这个词是由LeNet5 模型提出来的。以CNN为例，在对一张图偏进行卷积的过程中，使用的是同一个卷积核的参数。
比如一个3×3×1的卷积核，这个卷积核内9个的参数被整张图共享，而不会因为图像内位置的不同而改变卷积核内的权系数。
通俗说：就是用一个卷积核不改变其内权系数的情况下卷积处理整张图片。
1.8 对fine-tuning(微调模型)的理解？为什么要修改最后几层神经网络权值？
使用预训练模型的好处：在于利用训练好的SOTA模型权重去做特征提取，可以节省我们训练模型和调参的时间。
理由：
1.CNN中更靠近底部的层（定义模型时先添加到模型中的层）编码的是更加通用的可复用特征，而更靠近顶部的层（最后添加到模型中的层）编码的是更专业化的特征。微调这些更专业化的特征更加有用，它更代表了新数据集上的有用特征。
2.训练的参数越多，过拟合的风险越大。很多SOTA模型拥有超过千万的参数，在一个不大的数据集上训练这么多参数是有过拟合风险的，除非你的数据集像Imagenet那样大。
1.9 什么是Dropout？为什么有用？它是如何工作的？
背景：如果模型的参数太多，数据量又太小，则容易产生过拟合。为了解决过拟合，就同时训练多个网络。然后多个网络取均值。费时！
介绍：Dropout可以防止过拟合，在前向传播的时候，让某个神经元的激活值以一定的概率 P停止工作，这样可以使模型的泛化性更强。
Dropout效果跟bagging 效果类似（bagging是减少方差variance，而boosting是减少偏差bias）。加入dropout会使神经网络训练时间长，模型预测时不需要dropout，记得关掉。
具体流程：
i.随机删除（临时）网络中一定的隐藏神经元，输入输出保持不变，
ii.让输入通过修改后的网络。然后把得到的损失同时修改后的网络进行反向传播。在未删除的神经元上面进行参数更新
iii.重复该过程（恢复之前删除掉的神经元，以一定概率删除其他神经元。前向传播、反向传播更新参数）
1.10如何选择dropout 的概率？
input 的 dropout 概率推荐是 0.8， hidden layer 推荐是0.5
为什么dropout可以解决过拟合？
1.取平均的作用:
Dropout产生了许多子结构之后的操作，父神经网络有N个节点，加入Dropout之后可以看做在权值不变的情况下（参数共享）将模型数量扩增到指数级别
2.减少神经元之间复杂的共适应关系，迫使网络去学习更加鲁棒；Dropout 在训练和测试的区别？
训练时随机删除一些神经元，在测试模型时将所有的神经元加入。
1.11什么是Adam？Adam和SGD之间的主要区别是什么？
1.12一阶优化和二阶优化的方法有哪些？为什么不使用二阶优化？
一阶优化方法有：
SGD -> SGDM ->NAG -> AdaGrad -> AdaDelta / RMSProp(加速梯度下降) -> Adam -> Nadam二阶优化
定义：对目标函数进行二阶泰勒展开，也就是二阶梯度优化方法
牛顿法 + BFGS法
利用二阶泰勒展开,即牛顿法需要计算Hessian矩阵的逆，计算量大，在深度学习中并不常用。因此一般使用的是一阶梯度优化。
1.12为什么Momentum可以加速训练？
动量其实累加了历史梯度更新方向，所以在每次更新时，要是当前时刻的梯度与历史时刻梯度方向相似，这种趋势在当前时刻则会加强；要是不同，则当前时刻的梯度方向减弱。动量方法限制了梯度更新方向的随机性，使其沿正确方向进行。
1.13什么时候使用Adam和SGD？
Adam等自适应学习率算法对于稀疏数据具有优势，且收敛速度很快；但精调参数的SGD（+Momentum）往往能够取得更好的最终结果Adam+SGD 组合策略：先用Adam快速下降，再用SGD调优。
如果模型是非常稀疏的，那么优先考虑自适应学习率的算法；
在模型设计实验过程中，要快速验证新模型的效果，用Adam进行快速实验优化；在模型上线或者结果发布前，可以用精调的SGD进行模型的极致优化。
1.14 batch size和epoch的平衡
1.15 SGD每步做什么，为什么能online learning？
online learning强调的是学习是实时的，流式的，每次训练不用使用全部样本，而是以之前训练好的模型为基础，每来一个样本就更新一次模型，这种方法叫做OGD（online gradient descent）,目的是快速地进行模型的更新，提升模型时效性。而SGD的思想正是在线学习的思想。
1.16学习率太大(太小)时会发生什么？如何设置学习率？
1.基于经验的手动调整
通过尝试不同的固定学习率，如3、1、0.5、0.1、0.05、0.01、0.005，0.0001等，观察迭代次数和loss的变化关系，找到loss下降最快关系对应的学习率。
太小，收敛过程将变得十分缓慢;
太大，梯度可能会在最小值附近来回震荡(loss爆炸)，甚至可能无法收敛。
2. 基于策略的调整
①fixed 、exponential、polynomial
②自适应动态调整。adadelta、adagrad、ftrl、momentum、rmsprop、sgd
Logit：对它取对数。
1.17神经网络为什么不用拟牛顿法而是用梯度下降？
牛顿法原理：使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)= 0的根。
1.18 BN和Dropout在训练和测试时的差别?
BN:
训练时：是对每一个batch的训练数据进行归一化，也即是用每一批数据的均值和方差。
测试时：都是对单个样本进行测试。这个时候的均值和方差是全部训练数据的均值和方差，这两个数值
是通过移动平均法求得。
当一个模型训练完成之后，它的所有参数都确定了，包括均值和方差，gamma和bata。
Dropout:只有在训练的时候才采用，是为了减少神经元对部分上层神经元的依赖，类似将多个不同网络结构的模型集成起来，减少过拟合的风险。
1.19若网络初始化为0的话有什么问题？
w初始化全为0，很可能直接导致模型失效，无法收敛。
1.20 sigmoid和softmax的区别？softmax的公式？
1.21改进的softmax损失函数有哪些？
1.Large Margin Softmax Loss (L-Softmax)
加了一个margin，要保证大于某一个阈值。这样可以尽量实现让类间间距更大化，类内距离更小。
2.Center Loss
通过将特征和特征中心的距离和softmax loss一同作为损失函数，使得类内距离更小，有点L1，L2正则化。
1.22深度学习调参有哪些技巧？
1.准备数据
1.1 保证有大量、高质量并且带有干净标签的数据;
1.2 样本要随机化，防止大数据淹没小数据;
1.3 样本要做归一化.
2.预处理：0均值和1方差化
】)
