基于误差限制的神经网络混合精度量化方法

基于卷积神经网络的深度学习算法不仅表现出优异的性能，而且带来了冗余数据和计算。大量的存储和计算开销也成为这种算法在硬件平台上部署的最大障碍。神经网络模型量化采用低精度的定点数代替原模型中的高精度浮点数，可以在减少精度损失的前提下，有效压缩模型的大小，降低硬件资源成本，提高模型的推理速度。现有的大多数量化方法将模型各层的数据量化到相同的精度，而混合精度量化则根据不同层的数据分布设置不同的量化精度，目的是在相同的压缩比下实现更高的模型精度，但仍然很难找到合适的混合精度量化策略。因此，提出了一种基于误差限制的混合精度量化策略。通过均匀限制神经网络卷积层中的比例因子来确定每一层的量化精度，并使用截断方法对权重进行线性量化，并激活到低精度固定点的数量。在相同的压缩比下，它比统一的精度量化方法具有更高的精度。其次，以卷积神经网络的经典目标检测算法Aristole V5s为基准模型，测试了该方法的效果。在COCO数据集和VOC数据集上，与统一精度量化相比，压缩到5位的模型的平均精度（mAP）分别提高了6%和24.9%。