CVPR 2020: 8比特数值也能训练模型？商汤提出训练加速新算法

本文作者来自商汤研究院链接与编译团队、高性能计算团队和北航刘祥龙老师团队，他们合作提出了用于加速卷积神经网络训练过程的INT8训练技术——在图像分类任务和检测任务上都仅仅损失微小的精度，且训练过程相比浮点训练加速了22％。

导读：

在CVPR 2020上，商汤研究院链接与编译团队、高性能计算团队和北航刘祥龙老师团队合作提出了用于加速卷积神经网络训练过程的INT8训练技术。该工作通过将网络的输入、权重和梯度量化到8比特来加速网络的前向传播和反向传播过程，缩短卷积神经网络训练时间。

论文观察到梯度的独特分布给量化训练带来了极大挑战，为了解决梯度量化带来的精度损失和不稳定问题，该论文进行了量化训练收敛稳定性的理论分析并基于此提出了误差敏感的学习率调节和基于方向自适应的梯度截断方法。同时为了保证更高的加速比，该论文还提出使用周期更新、量化卷积融合等技术来减少量化操作带来的时间开销。

应用了上述方法之后，INT8训练在图像分类任务和检测任务上都仅仅损失微小的精度，且训练过程相比浮点训练加速了22％。

动机与背景

卷积神经网络被广泛应用在多种计算机视觉任务中并且取得了优异的精度。由于拥有庞大的参数量，训练和部署卷积神经网络需要耗费大量计算资源和漫长的训练时间，如何用更少资源训练卷积神经网络一直是一个学术研究热点，也是工业界关心的话题。

神经网络量化技术是一种使用定点计算代替浮点的加速技术，目前被广泛地应用在神经网络部署中，可以极大地提升部署速度，并降低内存资源占用。现有很多工作均表明将网络前向过程的浮点计算替换成INT8计算，不会带来明显的精度下降［1］［2］。

下图展示了现代神经网络加速芯片对于不同精度计算的理论计算峰值对比，可以看到，INT8算力相比于FP32和FP／INT16均能有超过2倍峰值性能提升。

当考虑将神经网络量化技术应用在卷积神经网络训练中时，为了加速卷积的反向梯度传播过程，不得不对梯度进行量化操作。在将浮点的梯度量化到INT8数值范围内之后，训练过程变得极其不稳定，并且收敛到非常差的精度。如何解决量化梯度给训练带来的收敛稳定性问题，是十分重要的问题。与此同时，在提升训练精度的同时，也不应当进入过多额外的计算，否则加速效果将会大打折扣。

一方面是高效的计算峰值保障，一方面是困难重重的算法设计，这是INT8训练技术的机遇与挑战。

何为INT8训练

标准的线性量化操作指的是，将一个浮点张量（tensor）进行线性映射，变换到整数空间中［3］。这个整数空间的大小由于量化比特数来决定，比如常见的8bit量化数，就有256个取值，本文中使用的是对称量化，因此量化数的取值是从－128到127。具体公式如下，其中x是被量化的数据，q是量化后的数据，s是量化系数，clip是截断函数：

在8bit的场景里，截断函数和量化系数的计算公式如下：

为了降低量化带来的误差，一个常见做法是对取整过程进行随机化，使得取整函数从期望上更接近原始的数，具体随机取整的公式如下：

相反的，将8bit量化数变换回浮点的过程称之为反量化。反量化公式如下所示，其中q为量化计算结果，s为量化系数，

为反量化后的结果。

上图的上半部分展示了标准的卷积神经网络量化计算前向过程，该过程被广泛应用在INT8部署加速中。在卷积计算之前，量化器会对输入和权重进行量化操作，将浮点数量化到8bit数值上，通过INT8卷积计算核心，即可完成一次INT8前向计算，最终将求和得到的32bit数进行反量化操作回算到浮点数域中，以供给下一层计算使用。

INT8训练的一个核心的加速点在于卷积计算的反向过程，上图展示了INT8训练中卷积计算在反向传播过程中的计算细节。在卷积的反向梯度传播过程，同样的将梯度进行浮点量化操作，不过为了降低量化的误差，针对梯度的量化采用了随机取整操作。通过INT8的反向卷积计算核心，可以得到下一层所需的回传梯度，以及当前层的权重所需的梯度。由于INT8反向卷积输出的是32bit数，与前传类似，需要引入一次反量化操作，将32bit数反算回到浮点数域中。

梯度为何难以量化

为什么对梯度进行量化会给网络训练带来如此大的影响？我们可以观察训练过程中的梯度分布情况来进一步的分析。

通过图（a）中对比梯度和输入、权重的分布，可以发现：梯度分布相比输入和权重分布更加尖锐，同时范围更大。相比于输入和权重，梯度有更多的值集中在0附近，但同时梯度还有许多较大值，让梯度的分布范围变得相当广，这些特征都会导致梯度量化的量化误差比输入和权重更大。

图（b）展示的是layers16随着训练，其梯度从epoch 0到epoch 300的变化情况。从中可以看出，随着训练的进行，梯度分布越变得更加尖锐，同时仍然保持着较广的分布范围，这意味着梯度量化的误差会随着训练的进行变得越来越大。

梯度的分布随网络深度变化情况从图（c）中可以看出。很容易发现，卷积层的深度越浅，梯度分布越尖锐，这也会导致梯度量化的误差更大。

从图（d）中可以看出卷积的结构也会影响梯度分布，对于MobileNetV2来说，conv2为depthwise卷积其相比conv1和conv3具有更加尖锐的分布。