Bit-pragmatic Deep Neural Network Computing 2017 Intl’ Symp. on Microarchitecture
Bit-Tactical: A Software/Hardware Approach to Exploiting Value and Bit Sparsity in Neural Networks 2019 Proceedings of the 24 International Conference on Architectural Support for Programming Languages and Operating Systems
提高能耗比的几种常用手段:
数据复用 数据类型和位宽 数据稀疏性 近似计算的鲁棒性这篇论文主要聚焦于比特级的稀疏性,即零比特的个数
本篇论文的主要贡献:
过去的工作主要聚焦于权重或者feature map的稀疏性,是整个数是0的时候可以跳掉,但实际上还可以利用比特级的稀疏性,实现加速
本质上就是用Booth编码来表示数据,这样就不用考虑零比特的数,比如说(0011 1100)=60=64-4
每个时钟周期1个Laconic PE可以进行2个比特级的乘法,所以上图需要两个时钟周期来完成计算,
一个2x2阵列的Laconic PE,一次可以进4个权重+4个feature map,就是8个权重feature map对,每次乘法需要2个时钟周期