| 神经网络超参数优化的删除垃圾神经元策略 |
| |
| 引用本文： | 黄颖,顾长贵,杨会杰.神经网络超参数优化的删除垃圾神经元策略[J].物理学报,2022(16):137-145. |
| |
| 作者姓名： | 黄颖 顾长贵 杨会杰 |
| |
| 作者单位： | 上海理工大学管理学院 |
| |
| 基金项目： | 国家自然科学基金(批准号:11875042,11505114)资助的课题~~； |
| |
| 摘 要： | 随着深度学习处理问题的日益复杂,神经网络的层数、神经元个数、和神经元之间的连接逐渐增加,参数规模急剧膨胀,优化超参数来提高神经网络的预测性能成为一个重要的任务.文献中寻找最优参数的方法如灵敏度剪枝、网格搜索等,算法复杂而且计算量庞大.本文提出一种超参数优化的“删除垃圾神经元策略”.权重矩阵中权重均值小的神经元,在预测中的贡献可以忽略,称为垃圾神经元.该策略就是通过删除这些垃圾神经元得到精简的网络结构,来有效缩短计算时间,同时提高预测准确率和模型泛化能力.采用这一策略,长短期记忆网络模型对几种典型混沌动力系统的预测性能得到显著改善.
|
| 关 键 词： | LSTM 混沌时间序列预测 超参数优化 删除垃圾神经元策略 |
|
| 点击此处可从《物理学报》浏览原始摘要信息 |
| 点击此处可从《物理学报》下载免费的PDF全文 |
|
