一.前言

本期不涉及任何代码，本专栏刚开始和大家介绍了一下机器学习，而本期就是大家介绍一下深度学习还有神经网络，作为一个了解就好。

二.深度学习

2.1 什么是深度学习？

在介绍深度学习之前，我们先看下⼈⼯智能，机器学习和深度学习之间的关系：

机器学习是实现⼈⼯智能的⼀种途径，深度学习是机器学习的⼀个⼦集，也就是说深度学习是实现机器学习 的⼀种⽅法。与机器学习算法的主要区别如下图所示：

传统机器学习算术依赖⼈⼯设计特征，并进⾏特征提取，⽽深度学习⽅法不需要⼈⼯，⽽是依赖算法⾃动提 取特征。深度学习模仿⼈类⼤脑的运⾏⽅式，从经验中学习获取知识。这也是深度学习被看做⿊盒⼦，可解释性差的原因。 

随着计算机软硬件的⻜速发展，现阶段通过深度学习来模拟⼈脑来解释数据，包括图像，⽂本，⾳频等内 容。⽬前深度学习的主要应⽤领域有：

1. 语⾳识别

2. 机器翻译

3. ⾃动驾驶 

当然在其他领域也能⻅到深度学习的身影，⽐如⻛控，安防，智能零售，医疗领域，推荐系统等。

2.2 发展历史 

深度学习其实并不是新的事物，深度学习所需要的神经⽹络技术起源于20世纪50年代，叫做感知机。当时 也通常使⽤单层感知机，尽管结构简单，但是能够解决复杂的问题。后来感知机被证明存在严重的问题，因 为只能学习线性可分函数，连简单的异或(XOR)等线性不可分问题都⽆能为⼒，1969年Marvin Minsky写了 ⼀本叫做《Perceptrons》的书，他提出了著名的两个观点：1.单层感知机没⽤，我们需要多层感知机来解 决复杂问题 2.没有有效的训练算法。

20世纪80年代末期，⽤于⼈⼯神经⽹络的反向传播算法（也叫Back Propagation算法或者BP算法）的发 明，给机器学习带来了希望，掀起了基于统计模型的机器学习热潮。这个热潮⼀直持续到今天。⼈们发现， 利⽤BP算法可以让⼀个⼈⼯神经⽹络模型从⼤量训练样本中学习统计规律，从⽽对未知事件做预测。这种 基于统计的机器学习⽅法⽐起过去基于⼈⼯规则的系统，在很多⽅⾯显出优越性。这个时候的⼈⼯神经⽹络，虽也被称作多层感知机（Multi-layer Perceptron），但实际是种只含有⼀层隐层节点的浅层模型。 

2006年，杰弗⾥·⾟顿以及他的学⽣鲁斯兰·萨拉赫丁诺夫正式提出了深度学习的概念。

2012年，在著名的ImageNet图像识别⼤赛中，杰弗⾥·⾟顿领导的⼩组采⽤深度学习模型AlexNet⼀举夺冠。AlexNet采⽤ReLU激活函数，从根本上解决了梯度消失问题，并采⽤GPU极⼤的提⾼了模型的运算速度。 

同年，由斯坦福⼤学著名的吴恩达教授和世界顶尖计算机专家Je! Dean共同主导的深度神经⽹络——DNN 技术在图像识别领域取得了惊⼈的成绩，在ImageNet评测中成功的把错误率从26％降低到了15％。深度学 习算法在世界⼤赛的脱颖⽽出，也再⼀次吸引了学术界和⼯业界对于深度学习领域的关注。 

2016年，随着⾕歌公司基于深度学习开发的AlphaGo以4:1的⽐分战胜了国际顶尖围棋⾼⼿李世⽯，深度学 习的热度⼀时⽆两。后来，AlphaGo⼜接连和众多世界级围棋⾼⼿过招，均取得了完胜。这也证明了在围棋界，基于深度学习技术的机器⼈已经超越了⼈类 

2017年，基于强化学习算法的AlphaGo升级版AlphaGo Zero横空出世。其采⽤“从零开始”、“⽆师⾃通”的 学习模式，以100:0的⽐分轻⽽易举打败了之前的AlphaGo。除了围棋，它还精通国际象棋等其它棋类游戏，可以说是真正的棋类“天才”。此外在这⼀年，深度学习的相关算法在医疗、⾦融、艺术、⽆⼈驾驶等多 个领域均取得了显著的成果。所以，也有专家把2017年看作是深度学习甚⾄是⼈⼯智能发展最为突⻜猛进 的⼀年。 

2019年，基于Transformer 的⾃然语⾔模型的持续增⻓和扩散，这是⼀种语⾔建模神经⽹络模型，可以在 ⼏乎所有任务上提⾼NLP的质量。Google甚⾄将其⽤作相关性的主要信号之⼀，这是多年来最重要的更新。 

2020年，深度学习扩展到更多的应⽤场景，⽐如积⽔识别，路⾯塌陷等，⽽且疫情期间，在智能外呼系 统，⼈群测温系统，⼝罩⼈脸识别等都有深度学习的应⽤。 

三.神经网络

3.1 什么是神经网络？ 

⼈⼯神经⽹络（ Arti!cial Neural Network， 简写为ANN）也简称为神经⽹络（NN），是⼀种模仿⽣物神经⽹络结构和功能的 计算模型。⼈脑可以看做是⼀个⽣物神经⽹络，由众多的神经元连接⽽成。各个神经 元传递复杂的电信号，树突接收到输⼊信号，然后对信号进⾏处理，通过轴突输出信号。下图是⽣物神经元示意图： 

当电信号通过树突进⼊到细胞核时，会逐渐聚集电荷。达到⼀定的电位后，细胞就会被激活，通过轴突发出电信号。 

3.2 人工神经网络 

那怎么构建⼈⼯神经⽹络中的神经元呢？ 

这个流程就像，来源不同树突(树突都会有不同的权重)的信息, 进⾏的加权计算, 输⼊到细胞中做加和，再通过激活函数输出细胞值。 

接下来，我们使⽤多个神经元来构建神经⽹络，相邻层之间的神经元相互连接，并给每⼀个连接分配⼀个强度，如下图所示： 

神经⽹络中信息只向⼀个⽅向移动，即从输⼊节点向前移动，通过隐藏节点，再向输出节点移动。其中的基本部分是: 

1. 输⼊层: 即输⼊ x 的那⼀层 

2. 输出层: 即输出 y 的那⼀层

3. 隐藏层: 输⼊层和输出层之间都是隐藏层 

特点是：

同⼀层的神经元之间没有连接。 第 N 层的每个神经元和第 N-1层 的所有神经元相连（这就是full connected的含义), 第N-1层神经元的输出就是第N层神经元的输⼊。每个连接都有⼀个权值。 

四.总结 

本章节主要是介绍了一下深度学习和神经网络的发展史和概念，大家做个了解，理解一下就来开始接下来的学习。