深度神经网络Softmax函数定点算法设计 |
| |
引用本文: | 黄光红,林广栋,吴尔杰,赵旭东,宋亮亮.深度神经网络Softmax函数定点算法设计[J].中国集成电路,2022(7):60-64. |
| |
作者姓名: | 黄光红 林广栋 吴尔杰 赵旭东 宋亮亮 |
| |
作者单位: | 2. 中国电子科技集团公司第三十八研究所 |
| |
摘 要: | 由于Softmax函数涉及高精度自然指数和浮点除法计算,深度神经网络推理计算占用大量硬件资源,导致神经网络部署难题。本文提出一种浮点数量化和定点计算方法,只用定点加法、移位操作即可实现精度高的Softmax函数值计算,满足高效推理需求。借助本文算法深度神经网络将易于部署到各种定点硬件平台,减少硬件资源占用,对神经网络部署应用启到促进作用。
|
关 键 词: | 深度神经网络 Softmax函数 激活函数 定点 量化 |
|
|