【3】非线性激活层
卷积层对原图运算多个卷积产生一组线性激活响应，而非线性激活层是对之前的结果进行一个非线性的激活响应。
这是一个很官方的说法，不知道大家看到上面这句话是不是都觉得要看晕了。
嗯~ o(*￣▽￣*)o 其实真的没有那么复杂啦！
本系列的文章秉承着“说人话！”的原则，着力于用最简单通俗的语言来为大家解释书上那些看不懂的概念。
在神经网络中用到最多的非线性激活函数是Relu函数，它的公式定义如下：
f(x)=max(0,x)
即，保留大于等于0的值，其余所有小于0的数值直接改写为0。
为什么要这么做呢？上面说到，卷积后产生的特征图中的值，越靠近1表示与该特征越关联，越靠近-1表示越不关联，而我们进行特征提取时，为了使得数据更少，操作更方便，就直接舍弃掉那些不相关联的数据。
如下图所示：>=0的值不变
而<0的值一律改写为0
得到非线性激活函数作用后 的结果：
【4】pooling池化层
卷积操作后，我们得到了一张张有着不同值的feature map，尽管数据量比原图少了很多，但还是过于庞大（比较深度学习动不动就几十万张训练图片），因此接下来的池化操作就可以发挥作用了，它最大的目标就是减少数据量。
池化分为两种，Max Pooling 最大池化、Average Pooling平均池化。顾名思义，最大池化就是取最大值，平均池化就是取平均值。
拿最大池化举例：选择池化尺寸为2x2，因为选定一个2x2的窗口，在其内选出最大值更新进新的feature map。
同样向右依据步长滑动窗口。
最终得到池化后的feature map。可明显发现数据量减少了很多。
因为最大池化保留了每一个小块内的最大值，所以它相当于保留了这一块最佳匹配结果（因为值越接近1表示匹配越好）。这也就意味着它不会具体关注窗口内到底是哪一个地方匹配了，而只关注是不是有某个地方匹配上了。这也就能够看出，CNN能够发现图像中是否具有某种特征，而不用在意到底在哪里具有这种特征。这也就能够帮助解决之前提到的计算机逐一像素匹配的死板做法。
到这里就介绍了CNN的基本配置---卷积层、Relu层、池化层。
在常见的几种CNN中，这三层都是可以堆叠使用的，将前一层的输入作为后一层的输出。比如：
也可以自行添加更多的层以实现更为复杂的神经网络。
而最后的全连接层、神经网络的训练与优化，更多内容将在下一篇文章中继续。
请登录后评论~