非均衡表驱动线性拟合的S型激活函数硬件加速

深度学习的兴起使得对计算的需求进一步加剧,其中循环神经网络长短时记忆单元中的非线性激活函数是硬件加速的重点。传统的查找表法、泰勒级数展开法、分段线性拟合法的硬件资源开销相对较大。本文在表驱动线性拟合的硬件加速基础上,进行了分析与数学推导,提出了非均衡参数化表驱动线性拟合S型激活函数的硬件加速。通过移动直线中心,降低了单边误差。对函数中误差较大与较小的区间进行差异划分,提高了误差分布较大区间的直线区间数量,进一步减小误差。FPGA高层综合的实验结果表明,非均衡表驱动线性拟合法在不增加硬件资源开销和不降低性能的前提下,能够实现较小误差的优化。参数化进一步提高了硬件的复用性与应用选择的灵活性。