【TensorRT】TensorRT的INT8校准原理
INT8校准就是原来用32bit（float32）表示的tensor现在用8bit来表示，并且要求精度不能下降太多。
将FP32转换为 INT8的操作需要针对每一层的输入tensor和网络学习到的参数进行。
但是不同网络结构的不同layer的激活值分布很不一样，因此合理的量化方式。应该适用于不同的激活值分布，并且减小信息损失。
使用相对熵（也叫KL散度）来衡量不同的INT8分布与原来的FP3F2分布之间的差异程度。
确定每一层的|T|值的过程称为校准。方法是从验证集选取一个子集作为校准集，校准集应该具有代表性，多样性，最好是验证集的一个子集，不应该只是分类类别的一小部分。激活值分布就是从校准集中得到的。比如NVIDIA官方介绍ImageNet数据集，校准集有500张图片就够了。
有了校准集之后：
1. 在校准集上进行FP32推理；
2. 遍历网络的每一层：
2.1 收集该层的激活值，做直方图，并分成若干bins（官方介绍使用2048个bins）；
2.2 |T|的值肯定在第128-2047 bins之间，遍历不同的|T|值，这里可以取每个bin的中值，最后选取使得KL散度最小时的|T|值。
3. 最后每一层都得到一个|T|值，据此创建CalibrationTable。
官方伪代码：
Input: FP32 histogram H with 2048 bins: bin[ 0 ], …, bin[ 2047 ]
For i in range( 128 , 2048 ):
reference_distribution_P = [ bin[ 0 ] , ..., bin[ i-1 ] ]
outliers_count = sum( bin[ i ] , bin[ i+1 ] , … , bin[ 2047 ] )
reference_distribution_P[ i-1 ] += outliers_count
P /= sum(P) // 归一化
candidate_distribution_Q = quantize [ bin[ 0 ], …, bin[ i-1 ] ] into 128 levels
expand candidate_distribution_Q to ‘ i ’ bins
Q /= sum(Q)
divergence[ i ] = KL_divergence( reference_distribution_P, candidate_distribution_Q)
End For
Find index ‘m’ for which divergence[ m ] is minimal
threshold = ( m + 0.5 ) * ( width of a bin )
下面是我使用TensorRT生成CalibrationTable输出的一些log。
作者：heiheiya
