1.1.2 定义网络结构

一般认为，深度学习训练好的模型包括两部分，一个是对网络结构的描述，或者称为对网络结构的定义；另外一个是每层网络的具体参数值，这两部分加起来才是一个完整的深度学习模型。完成数据预处理后，就需要定义网络结构，或者说对我们的问题进行数学建模。

假设可以通过一条直线，把黑客和正常用户区分开，即我们认为这个二分类问题是线性问题，如图1-1所示。设特征向量为x，对应的标签为y，使用一个线性函数定义整个网络：

y=w*x+b

其中w和b就是模型的参数，训练模型的过程就是迭代求解w和b的过程，通常x是一个多维向量，所以w和b通常也是多维向量。当完成了网络的定义后，输入x就可以获得确定的y，这一过程称为前向计算过程，或者称为前向传播。面对更加复杂的问题，需要使用更加复杂的层来定义网络。定义网络时的常用层包括：Dense层、Activation层、Dropout层、Flatten层、Reshape层和Permute层等。

1.Dense层

Dense层是最常见的网络层，用于构建一个全连接。一个典型的全连接结构由输入、求和、激活、权重矩阵、偏置和输出组成，如图1-2所示，训练的过程就是不断获得最优的权重矩阵和偏置（bias）的过程。

了解了全连接的结构后，也不难理解创建Dense层的几个参数了，例如：

keras.layers.core.Dense(units, activation=None, use_bias=True,
kernel_initializer='glorot_uniform', bias_initializer='zeros', 
kernel_regularizer=None, bias_regularizer=None, activity_regularizer=None, 
kernel_constraint=None, bias_constraint=None)

其中比较重要的几个参数含义如下。

·units表示隐藏层节点数。

·activation（激活函数）详细介绍请参见Activation层的相关内容。

·use_bias表示是否使用偏置。

2.Activation层

Actiration层对一个层的输出施加激活函数，常见的激活函数包括以下几种。

（1）relu

relu函数当输入小于0时为0，当输入大于0时等于输入。使用代码绘制relu的图像，获得图像（见图1-3）。

def relu(x):
    if x > 0:
        return x
    else:
        return 0
def func4():
    x = np.arange(-5.0, 5.0, 0.02)
    y=[]
    for i in x:
        yi=relu(i)
        y.append(yi)
    plt.xlabel('x')
    plt.ylabel('y relu(x)')
    plt.title('relu')
    plt.plot(x, y)
    plt.show()

（2）leakyrelu

leakyrelu函数是从relu函数发展而来的，当输入小于0时为输入乘以一个很小的系数，比如0.1，当输入大于0时等于输入。使用代码绘制leakyrelu的图像，获得图像（见图1-4）。

def leakyrelu(x):
    if x > 0:
        return x
    else:
        return x*0.1
def func5():
    x = np.arange(-5.0, 5.0, 0.02)
    y=[]
    for i in x:
        yi=leakyrelu(i)
        y.append(yi)
    plt.xlabel('x')
    plt.ylabel('y leakyrelu(x)')
    plt.title('leakyrelu')
    plt.plot(x, y)
    plt.show()

（3）tanh

tanh也称为双切正切函数，取值范围为[–1，1]。tanh在特征相差明显时的效果会很好，在循环过程中会不断扩大特征效果。tanh的定义如下：

使用代码绘制tanh的图像，获得图像（见图1-5）。

x = np.arange(-5.0, 5.0, 0.02)
y=(np.exp(x)-np.exp(-x))/(np.exp(x)+np.exp(-x))
plt.xlabel('x')
plt.ylabel('y tanh(x)')
plt.title('tanh')
plt.plot(x, y)
plt.show()

（4）sigmoid

sigmoid可以将一个实数映射到（0，1）的区间，可以用来做二分类。sigmoid的定义如下：

使用代码绘制sigmoid的图像，获得图像（见图1-6）。

x = np.arange(-5.0, 5.0, 0.02)
y=1/(1+np.exp(-x))
plt.xlabel('x')
plt.ylabel('y sigmoid(x)')
plt.title('sigmoid')
plt.plot(x, y)
plt.show()

Activation层可以单独使用，也可以作为其他层的参数，比如创建一个输入大小为784，节点数为32，激活函数为relu的全连接层的代码为：

model.add(Dense(32, input_shape=(784,)))
model.add(Activation('relu'))

等价于下列代码：

model.add(Dense(32, activation='relu'，input_shape=(784,)))

3.Dropout层

在深度学习中，动辄几万的参数需要训练，非常容易造成过拟合，通常为了避免过拟合，会在每次训练的时候随机选择一定的节点，使它们临时失效，形象的比喻是，好比每次识别图像的时候，随机地挡住一些像素，遮挡适当比例的像素不会影响图像的识别，但是却可以比较有效地抑制过拟合。Dropout层的定义如下：

keras.layers.core.Dropout(rate, noise_shape=None, seed=None)

其中，常用的参数就是rate，表示临时失效的节点的比例，经验值为0.2～0.4比较合适。

4.Embedding层

Embedding层负责将输入的向量按照一定的规则改变维度，有点类似于Word2Vec的处理方式，把词可以映射到一个指定维度的向量中，其函数定义如下：

keras.layers.Embedding(input_dim, output_dim,
embeddings_initializer='uniform', embeddings_regularizer=None, 
activity_regularizer=None, embeddings_constraint=None, mask_zero=False, 
input_length=None)

其中比较重要的参数为：

·input_dim：输入的向量的维度。

·output_dim：输出的向量的维度。

·embeddings_initializer：初始化的方式，通常使用glorot_normal或者uniform。

5.Flatten层

Flatten层用来将输入压平，即把多维的输入一维化。

6.Permute层

Permute层将输入的维度按照给定模式进行重排。一个典型场景就是在Keras处理图像数据时，需要根据底层是TensorFlow还是Theano调整像素的顺序。在TensorFlow中图像保存的顺序是（width，height，channels）而在Theano中则为（channels，width，height），比如MNIST图像，在TensorFlow中的大小就是（28，28，1），而在Theano中是（1，28，28）。示例代码如下：

if K.image_dim_ordering() == 'tf':
    # (width, height, channels)
    model.add(Permute((2, 3, 1), input_shape=input_shape))
elif K.image_dim_ordering() == 'th':
    # (channels, width, height)
    model.add(Permute((1, 2, 3), input_shape=input_shape))
else:
    raise RuntimeError('Unknown image_dim_ordering.')

7.Reshape层

Reshape层用于将输入shape转换为特定的shape。函数定义如下代码所示：

keras.layers.core.Reshape(target_shape)

其中target_shape为希望转换成的形状，比如图片的大小为（1，28，28，1），但是网络的输入大小为（1，784）时就需要使用Reshape层。