| 深层神经网络预训练的改进初始化方法 |
| |
| 引用本文： | 周佳俊,欧智坚.深层神经网络预训练的改进初始化方法[J].电讯技术,2013,53(7):895-898. |
| |
| 作者姓名： | 周佳俊 欧智坚 |
| |
| 作者单位： | 清华大学 电子工程系，北京 100084;清华大学 电子工程系，北京 100084 |
| |
| 基金项目： | 国家自然科学基金资助项目（61075020） |
| |
| 摘 要： | 在基于神经网络的语音识别任务中,提出根据激励函数二阶导数优化网络预训练阶段中权值初始化的方法。利用激励函数的非线性区域和自变量呈高斯分布的特性,寻找权值分布的较优方差以提升训练速度。通过比较同一学习速率下不同初始化数值对收敛速度的影响,发现此种方法可以加快预训练阶段的速度,提升神经网络训练的效率。
|
| 关 键 词： | 语音识别 深层神经网络 预训练 初始化 激励函数 |
Improved initialization of pre-training in deep neural network |
| |
| ZHOU Jia-jun and OU Zhi-jian.Improved initialization of pre-training in deep neural network[J].Telecommunication Engineering,2013,53(7):895-898. |
| |
| Authors: | ZHOU Jia-jun and OU Zhi-jian |
| |
| Institution: | (Department of Electronic Engineering,Tsinghua University,Beijing 100084,China) |
| |
| Abstract: | |
| |
| Keywords: | speech recognition deep neural network pre-training initialization activation function |
| 本文献已被 CNKI 等数据库收录！ |
| 点击此处可从《电讯技术》浏览原始摘要信息 |
| 点击此处可从《电讯技术》下载免费的PDF全文 |
