淘先锋技术网

首页 1 2 3 4 5 6 7

背景

PyTorch 1.6版本今天发布了,带来的最大更新就是自动混合精度。release说明的标题是:

  1. Stable release of automatic mixed precision (AMP).
  2. New Beta features include a TensorPipe backend for RPC, memory profiler,
  3. and several improvements to distributed training for both RPC and DDP.

可见自动混合精度正是PyTorch 1.6的最大更新。这就带来了几个问题:

  1. 什么是自动混合精度训练?
  2. 为什么需要自动混合精度?
  3. 如何在PyTorch中使用自动混合精度?

什么是自动混合精度训练?

我们知道神经网络框架的计算核心是Tensor,也就是那个从scaler -> array -> matrix -> tensor 维度一路丰富过来的tensor。在PyTorch中,我们可以这样创建一个Tensor:

PyTorch的自动混合精度(AMP) - 知乎