淘先锋技术网

首页 1 2 3 4 5 6 7

输入模式与网络架构间的对应关系:

  • 向量数据:密集连接网络(Dense层)
  • 图像数据:二维卷积神经网络
  • 声音数据(比如波形):一维卷积神经网络(首选)或循环神经网络
  • 文本数据:一维卷积神经网络(首选)或循环神经网络
  • 时间序列数据:循环神经网络(首选)或一维卷积神经网络
  • 其他类型的序列数据:循环神经网络或一维卷积神经网络。如果数据顺序非常重要(比如时间序列,但文本不是),那么首选循环神经网络
  • 视频数据:三维卷积神经网络(如果需要捕捉运动效果),或者帧级的二维神经网络(用于特征提取)+循环神经网络或一维卷积神经网络(用于处理得到的序列)
  • 立体数据:三维卷积神经网络

三种网络架构:

  • 1.密集连接网络

  • 2.卷积网络

  • 3.循环网络

1.密集连接网络

密集连接网络是Dense层的堆叠,用于处理向量数据(向量批量)。这种网络假设输入特征中没有特定结构:之所以叫作密集连接,是因为Dense层的每个单元都和其他所有单元相连接;

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(1,activation='sigmoid'))

model.compile(optimizer='rmsprop',loss='binary_crossentropy')

  

对于二分类问题,层堆叠的最后一层使用sigmoid激活且

只有一个单元的Dense层,并使用binary_crossentropy

作为损失,目标应该是0或1.

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(num_classes,activation='softmax'))

model.compile(optimizer='rmsprop',loss='categorical_crossentropy')

对于单标签多分类问题,每个样本只有一个类别(不会超过一个),

层堆叠的最后一层是一个Dense层,它使用softmax激活,其

单元个数等于类别个数。如果目标是one-hot编码的,那么使用

categorical_crossentropy作为损失;如果目标是整数,那么

使用sparse_categorical_crossentropy作为损失

 

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(num_classes,activation='sigmoid'))

model.compile(optimizer='rmsprop',loss='binary_crossentropy')

对于多标签多分类问题,每个样本可以有多个类别,层堆叠的最后一层

是一个Dense层,它使用sigmoid激活其单元个数等于类别个数,并使用

binary_crossentropy作为损失,目标应该是k-hot编码的

from keras import models
from keras import layers

model = models.Sequential()
model.add(layers.Dense(32,activation='relu',input_shape=(num_input_features,)))
model.add(layers.Dense(32,activation='relu'))
model.add(layers.Dense(num_classes)

model.compile(optimizer='rmsprop',loss='mse')

  

对于连续值向量的回归问题,层堆叠的最后一层是一个不带激活Dense层,

其单元个数等于你要预测的值的个数(通常只有一个值,比如房价)。

有几种损失可用于回归问题,最常见的是

mena_squared_error(均方误差,MSE)

mean_absolute_error(平均绝对误差,MAE)

2.卷积神经网络

卷积层能够查看空间局部模式,其方法是对输入张量的不同空间位置(图块)应用相同的几何变换。这样得到的表示具有平移不变性,这使得卷积层能够高效利用数据,并且能够高度模块化。

卷积神经网络或卷积网络是卷积层和最大池化层的堆叠。池化层可以对数据进行空间下采样, 这么做有两个目的随着特征数量的增大,我们需要让特征图的尺寸保持在合理范围内;让后面的卷积层能够“看到”输入中更大的空间范围。卷积神经网络的最后通常是一个 Flatten 运算 或全局池化层,将空间特征图转换为向量,然后再是 Dense 层,用于实现分类或回归。 注意,大部分(或者全部)普通卷积很可能不久后会被深度可分离卷积(depthwise separable convolution,SeparableConv2D 层)所替代,后者与前者等效,但速度更快、表示效率更高。 对于三维、二维和一维的输入来说都是如此。如果你从头开始构建一个新网络,那么一定要使用深度可分离卷积。SeparableConv2D 层可直接替代 Conv2D 层,得到一个更小、更快的网络, 在任务上的表现也更好。

model = models.Sequential() 
model.add(layers.SeparableConv2D(32, 3, activation='relu', input_shape=(height, width, channels)))                                 
model.add(layers.SeparableConv2D(64, 3, activation='relu')) 
model.add(layers.MaxPooling2D(2)) model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.MaxPooling2D(2)) model.add(layers.SeparableConv2D(64, 3, activation='relu'))
model.add(layers.SeparableConv2D(128, 3, activation='relu'))
model.add(layers.GlobalAveragePooling2D()) model.add(layers.Dense(32, activation='relu')) model.add(layers.Dense(num_classes, activation='softmax')) model.compile(optimizer='rmsprop', loss='categorical_crossentropy')
图像多分类

 

3.循环神经网络

循环神经网络(RNN)的工作原理是,对输入序列每次处理一个时间步,并且自始至终保存一个状态(state,这个状态通常是一个向量或一组向量,即状态几何空间中的点)。

如果序列中的模式不具有时间平移不变性,那么应该优先使用循环神经网络,而不是一维卷积神经网络。keras中有三种RNN层:SimpleRNN/GRU/LSTM。对于大多数实际用途,你应该使用GRU或LSTM。两者中LSTM更强大,计算代价也更高。可以将GRU看作是一种更简单、计算代价更小的替代方法。想要将多个RNN层逐个堆叠在一起,最后一层之前的每一层都应该返回输出的完整序列(每个输入时间步都对应一个输出时间步)。

如果你不再堆叠更多的RNN层,那么通常只返回最后一个输出,其中包含关于整个序列的二分类。

model = models.Sequential() 
model.add(layers.LSTM(32, input_shape=(num_timesteps, num_features))) 
model.add(layers.Dense(num_classes, activation='sigmoid')) model.compile(optimizer='rmsprop', loss='binary_crossentropy')
一个单层 RNN 层,用于向量序列的二分类
model = models.Sequential() 
model.add(layers.LSTM(32, return_sequences=True, input_shape=(num_timesteps, num_features))) 
model.add(layers.LSTM(32, return_sequences=True)) 
model.add(layers.LSTM(32)) 
model.add(layers.Dense(num_classes, activation='sigmoid')) 
 
model.compile(optimizer='rmsprop', loss='binary_crossentropy')

RNN 层的堆叠,用于向量序列的二分类。

转载于:https://www.cnblogs.com/nxf-rabbit75/p/10123737.html