卷积神经网络

卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更优的结果。相比较其他深度、前馈神经网络，卷积神经网络需要估计的参数更少，使之成为一种颇具吸引力的深度学习结构。

卷积神经网络的核心思想

1.局部感受野：普通的多层感知器中，隐层节点会全连接到一个图像的每个像素点上；而在卷积神经网络中，每个隐层节点只连接到图像某个足够小局部的像素点上，从而大大减少需要训练的权值参数。比如1000×1000的图像，使用10×10的感受野，那么每个神经元只需要100个权值参数；不过由于需要将输入图像扫描一遍，共需要991×991个神经元（参数数目减少了一个数量级，不过还是太多）。

2.权值共享：在卷积神经网中，同一个卷积核内，所有的神经元的权值是相同的，从而大大减少需要训练的参数。继续前面的例子，虽然需要991×991个神经元，但是它们的权值是共享的，所以只需要100个权值参数，以及1个偏置参数。作为补充，在CNN中的每个隐藏，一般会有多个卷积核。

3.池化：在卷积神经网络中，没有必要一定就要对原图像做处理，而是可以使用某种“压缩”方法，这就是池化，也就是每次将原图像卷积后，都通过一个下采样的过程，来减小图像的规模。以最大池化（Max Pooling）为例，1000×1000的图像经过10×10的卷积核卷积后，得到的是991×991的特征图，然后使用2×2的池化规模，即每4个点组成的小方块中，取最大的一个作为输出，最终得到的是496×496大小的特征图。

Multilayer Perceptron (MLP, 多层感知机)

感知机只能解决线形可分问题，但对非线形可分问题（比如简单的异或）就无能为力了。通过将多个感知器按照一定的结构和系数进行组合，就构成了多层感知机。多层感知机层与层之间是全连接的（全连接的意思就是：上一层的任何一个神经元与下一层的所有神经元都有连接）。多层感知机最底层是输入层，中间是隐藏层，最后是输出层。

• 多层感知器存在的问题:
  

  1) 权值多：它是一个全连接的网络，在输入比较大的时候，权值会特别多。比如一个有1000个节点的隐层，连接到一个1000×1000的图像上，那么就需要 10^9 个权值参数（外加1000个偏置参数）！这一方面限制了每层能够容纳的最大神经元数目，另一方面也限制了多层感知器的层数即深度。

  2) 梯度发散：一般情况下，我们需要把输入归一化，而每个神经元的输出在激活函数的作用下也是归一化的；另外，有效的参数其绝对值也一般是小于1的；这样，在BP过程中，多个小于1的数连乘，得到的会是更小的值。也就是说，在深度增加的情况下，从后传播到前边的残差会越来越小，甚至对更新权值起不到帮助，从而失去训练效果，使得前边层的参数趋于随机化。

CNN结构

• 卷积层：对输入的图像进行特征提取。
• 激活函数层：积后的结果压缩到某一个固定的范围，这样可以一直保持一层一层下去的数值范围是可控的。
• 降采样层：对特征进行采样，即用一个数值替代一块区域，主要是为了降低网络训练参数及模型的过拟合程度。
• 标准化层：数据归一化。
• 全连接层：全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。主要是为了分类或回归，当然也可以没有。
• Dropout层：在模型训练时随机让网络某些隐含层节点的权重不工作，不工作的那些节点可以暂时认为不是网络结构的一部分，但是它的权重得保留下来（只是暂时不更新而已），因为下次样本输入时它可能又得工作了。主要是为了防止过拟合。

Convolution (卷积，局部感受野）

• 对于离散函数 f(x,y),g(x,y) 的卷积一般定义为 f(m,n)∗g(m,n)=∑u∞∑v∞f(u,v)g(m−u,n−v) 对应的，图像的卷积定义为 f(x)=act(∑i,jnθ(n−i)(n−j)xij+b) 其计算过程为

• 卷积的动态展示：

• 由于特征图的变长不一定是2的倍数，所以在边缘处理上也要注意：
  > – 忽略边缘(padding=‘VALID’)：将多出来的边缘直接省去。
  > – 保留边缘(padding=‘SAME’)：将特征图的变长用0填充为2的倍数，然后再池化（一般使用这种方式）。

import tensorflow as tf

input_batch = tf.constant([
    [  # First Input
        [[0.0], [1.0]],
        [[2.0], [3.0]]
    ],
    [  # Second Input
        [[2.0], [4.0]],
        [[6.0], [8.0]]
    ]
])

kernel = tf.constant([
    [
        [[1.0, 2.0]]
    ]
])

# strides parameter highlights how a convolution operation
# is working with a kernel.
# The data format has to be [batch_size, height, width, channel]
conv2d = tf.nn.conv2d(input_batch,
                      kernel,
                      strides=[1, 1, 1, 1],
                      padding='SAME')
with tf.Session() as sess:
    print sess.run(conv2d)

# output ==>
# [[[[  0.   0.]
#    [  1.   2.]]
#
#   [[  2.   4.]
#    [  3.   6.]]]
#
#
#  [[[  2.   4.]
#    [  4.   8.]]
#
#   [[  6.  12.]
#    [  8.  16.]]]]


input_batch = tf.constant([
    [  # First Input (6x6x1)
        [[0.0], [1.0], [2.0], [3.0], [4.0], [5.0]],
        [[0.1], [1.1], [2.1], [3.1], [4.1], [5.1]],
        [[0.2], [1.2], [2.2], [3.2], [4.2], [5.2]],
        [[0.3], [1.3], [2.3], [3.3], [4.3], [5.3]],
        [[0.4], [1.4], [2.4], [3.4], [4.4], [5.4]],
        [[0.5], [1.5], [2.5], [3.5], [4.5], [5.5]],
    ],
])

kernel = tf.constant([  # Kernel (3x3x1)
    [[[0.0]], [[0.5]], [[0.0]]],
    [[[0.0]], [[1.0]], [[0.0]]],
    [[[0.0]], [[0.5]], [[0.0]]]
])

# NOTE: the change in the size of the strides parameter.
conv2d = tf.nn.conv2d(input_batch,
                      kernel,
                      strides=[1, 3, 3, 1],
                      padding='SAME')
with tf.Session() as sess:
    print sess.run(conv2d)

# output ==>
# [[[[ 2.20000005]
#    [ 8.19999981]]

#   [[ 2.79999995]
#    [ 8.80000019]]]]

Pooling（池化, 下采样）

通过卷积层获得了图像的特征之后，理论上我们可以直接使用这些特征训练分类器（如softmax），但是这样做将面临巨大的计算量的挑战，而且容易产生过拟合的现象。为了进一步降低网络训练参数及模型的过拟合程度，对卷积层进行池化/采样(Pooling)处理。池化/采样的方式通常有以下两种：

• 最大池化（Max Pooling: 选择Pooling窗口中的最大值作为采样值；
• 均值池化（Mean Pooling）: 将Pooling窗口中的所有值相加取平均，以平均值作为采样值
• 高斯池化：借鉴高斯模糊的方法。不常用。
• 可训练池化：使用一个训练函数$y=f(x)$。不常用。

图像经过池化后，得到的是一系列的特征图，而多层感知器接受的输入是一个向量。因此需要将这些特征图中的像素依次取出，排列成一个向量（这个过程被称为光栅化）。