https://arxiv.org/pdf/1802.02611.pdf

https://link.springer.com/chapter/10.1007/978-3-319-10578-9_23

目录

Deeplabv3+

Encoder部分

Decoder部分

补充摘要

SPP 空间金字塔池化层模块

Dilated/Atrous Conv 空洞卷积

---

Deeplabv3+

deeplab-v3+是语义分割网络，组合采用空洞卷积空间金字塔池模块和编码器-解码器结构。

Encoder部分

输入经过backbone骨干网络（图中深度卷积神经网络DCNN Atrous Conv的部分）得到两个输出：一个是low-level feature低级特征，其直接提供给Decoder，这是个output=4x的输出；另一个是high-level feature高级特征，其经过ASPP空间金字塔池模块，这是个output=16x的输出。

• input stride为进行卷积时候设置的stride值
• output stride为矩阵经多次卷积池化操作后尺寸缩小的值

high-level feature高级特征经过ASPP空洞卷积空间金字塔池模块的5个不同操作得到5个输出，其中1个1×1卷积，3个不同rate的dilated conv空洞卷积，1个ImagePooling全局平均池化。这5个输出经过concatenate连接层和1×1卷积层得到output stride=16x的输出。

• ASPP是在SPP的基础上加入Dilated/Atrous Convolution空洞卷积实现的
• 相比conv，Dilated conv多了一个 hyper-parameter：dilation rate
• dilation rate指kernel的间隔数，正常conv的dilatation rate为1

• SPP即空间金字塔池，解决CNN输入图像大小必须固定的问题
• CNN的第一个全连接层要求固定的输入大小，例如VGG模型要求输入大小224*224
• SPP能够使得输入图像高宽比和大小任意，有效解决多目标分割等问题。

• 这里ImagePooling对特征进行全局平均池化之后再上采样到原来大小
• 卷积可以局部提取特征，ImagePooling可以全局提取特征，这样就得到了多尺度特征
• 特征通过concatenate层叠加，而不是add层直接相加

Decoder部分

上面的Encoder部分为Decoder部分提供了两个输入

low-level featur低级特征经过1x1卷积调整维度（output stride=4x）low-level feature调整到48 channels时效果最好；

high-level featur高级特征上采样4倍，使得output stride从16x变为4x，再将两个4x特征通过concatenate层连接。

再连接一个或多个的3×3卷积（接2个out_channels=256的3x3卷积，输出效果较好），再上采样4倍得到Dense Prediction密集预测，即预测图像中的每个像素，语义分割。

这里Deeplabv3+的Decoder部分的上采样模块均通过双线性插值实现

补充摘要

SPP 空间金字塔池化层模块

input image输入层，可以为任意大小。输入后进行卷积运算，到最后一个卷积层输出得到该层的feature maps特征映射，其大小也是任意的。

Spatial Pyramid Pooling layer SPP层。以最左侧16X256-d为例，16表示将从前面卷积得到的特征映射分成16份，256表示channel通道数，即SPP对每一层都分成16份，进行池化操作，一般进行max pooling最大池化。中间右侧同理，即将特征映射分别分成4X256和1X256。

通过SPP层，特征映射被转化成16X256+4X256+1X256=21X256的矩阵，在送入全连接时可扩展成一维矩阵1X10752，所以第一个全连接层的参数设置为10752，有效解决输入数据大小的问题。

注意分法可自由调整，不一定等分

Dilated/Atrous Conv 空洞卷积

Dilated / Atrous Convolution / Convolution with hole，中文为空洞卷积（也有称为膨胀卷积），

• 其是在标准的 convolution map 里注入空洞，以此增加 reception field感受野。
• 相比常规conv，Dilated conv多了一个超参数dilation rate，指kernel的间隔数
• 可以认为常规 convolution 的 dilatation rate 为 1

通过图示可以很好理解

以下是3*3 kernal and 1 dilation rate的常规卷积

以下是3*3 kernal and 2 dilation rate的空洞卷积

 与其他卷积对比