AlexNet: Revolutionizing Deep Learning for Computer Vision

(1)网络提出的背景

论文题目：ImageNet Classification with Deep Convolutional Neural Networks
arXiv地址：https://arxiv.org/abs/1207.0575

在2012年ImageNet大规模视觉识别挑战赛(ILSVRC)中，AlexNet以15.3% 的top-5错误率夺冠（第二名仅为26.2%），彻底改变了计算机视觉领域。当时的背景是：

1. 硬件限制：GPU计算尚未普及，大规模网络训练困难
2. 梯度消失：深层网络难以用sigmoid/tanh激活函数有效训练
3. 过拟合风险：6000万参数模型极易在小数据集上过拟合

AlexNet的创新解决方案：

• 首次使用ReLU激活函数：解决梯度消失问题，训练速度比tanh快6倍
• GPU并行训练：首次利用双GTX 580 GPU进行模型并行，训练时间从数月缩短至数天