基于CRBM算法的时间序列预测模型研究

针对受限玻尔兹曼机（restricted Boltzmann machines,RBM）算法对时序数据预测存在抽取抽象特征向量能力较差和梯度下降能力有限的问题,基于CRBM（conditional restricted Boltzmann machines）算法以及信念网络（deep belief network,DBN）模型,构建了一种非线性的CRBM-DBN深度学习模型,并采用高斯分布处理输入特征值和对比散度抽样,用于预测时序数据.实验以浙江省近岸海域赤潮时序数据作为输入特征值,讨论该模型的深度及参数选取,并与经典的深度学习模型RBM、DAE和浅层学习中的BP神经网络进行对比,实验验证CRBM对于赤潮时序数据的预测拟合度要明显优于其他3种模型,该模型可有效用于赤潮类时序数据的趋势性预测.     

基于CNN和LSTM混合模型的中文词性标注

中文词性标注具有重要的作用,它的准确性和标注速度直接影响到自然语言处理的后续任务.提出一种基于CNN(convolutional neural network)和LSTM(long-short term memory)混合模型进行中文词性标注.该模型采用三层结构,用词向量和CNN的滑动窗口特性产生词语表示特征,LSTM的时序性来产生词性标注的序列标签.分别在PFR《人民日报》语料库、CTB7.0和CoNLL09语料库上对该模型进行测试,在未加入任何人工特征的条件下,对词语进行词性标注,词性标注效果好于HMM(hidden Markov model)、MLP(multi-layer perceptron)、CNN和LSTM.     

BP神经网络技术在移动通信客户信用分析中的应用

提出了一种移动通信客户信用预测评估的方法．该方法基于移动通信客户行为属性的统计分析，以其作为客户信用预测评估的依据，建立BP神经网络的训练和识别的模型．通过随机选择2003年8月全网数据(403206个客户)中3％作为样本进行训练，确定了网络模型参数，与已有的信用评估方法相比，该方法的泛化性能高，适用于大规模的客户信用评估，所得到的客户特征属性对移动通信客户信用研究提供了理论和实践的依据。     

基于时空优化长短期记忆网络与烟花算法的AQI预测

针对传统深度学习模型在预测空气质量指数(air quality index,AQI)时,难以从时间角度建模、网络超参数选取困难等问题,提出一种基于长短期记忆(long short-term memory,LSTM)网络和烟花算法(fireworks algorithm,FWA)的AQI预测模型LSTM-FWA。首先,以武汉市历史空气质量和气象监测数据为研究对象,利用LSTM网络中隐含层节点之间相互连接的结构特点,对空气质量的时间变化特征进行建模;接下来,考虑到种群多样性和并发性,将烟花算法应用到超参数组合优化问题中;最后,对模型输入分别进行时间、空间、时空角度的优化,实验结果表明基于时空优化的LSTM-FWA模型预测性能提升最为明显。将LSTM-FWA与其他预测模型进行比较,并全面分析不同模型在各种优化策略下的性能。实验结果显示,本文提出的时空优化LSTM-FWA模型对于AQI预测具有最优的性能。     

融合双向门控循环单元和卷积神经网络的歧视性言论鉴别

针对歧视性言论的鉴别,提出了一种融合双向门控循环单元(BIGRU,bidirectional gated recurrent unit)和多元卷积神经网络(MCNN,multi-convolution neural network)的BGM-CNN模型。模型先采用BIGRU结构进行时序特征提取,再经过一维多元卷积神经网络进行降维池化,最后结合多组特征输出进行分类。实验结果表明,BGM-CNN模型比现有的单一模型和CNN-LSTM(long short-term memory)等模型分类效果更好,该模型在五分类验证数据集上分类的F1值为0. 673 3,在两个歧视性言论二分类数据集上的F1值分别为0. 837 3和0. 815 6。     

基于GBRT模型的交通事故预测

道路交通安全水平的重要标志就是道路交通事故发生量.为解决当前交通事故量预测精度不高、时间拐点数据预测效果差的问题,以及在交通管理系统中提供更加准确的预测数据帮助交通管理部门做出科学的决策,本文针对我国年周期交通事故建立了基于GBRT(Gradient Boosted Regression Tree)的交通事故模型.通过训练交通事故相关数据对未来交通事故死亡人数进行预测,并与多种回归模型、神经网络模型进行对比实验,结果显示GBRT模型具有拟合效果佳、训练时间短、高鲁棒性的优势,能够更准确、高效的对交通事故安全水平进行预测.     

基于EEMD-Transformer模型的舆情分析：以COVID-19舆情为例

现有的舆情分析模型,存在滞后性和不准确性,个体选择影响舆情预测的特征具有一定的主观性和不确定性。本文将集合经验模态分解(ensemble empirical mode decomposition,EEMD)方法和Transformer注意力机制相结合,提出一种组合模型EEMD-Transformer。该模型利用EEMD分解技术,将原始舆情事件的热度值进行分解,将分解后的数据通过特征提取器Transformer进行特征提取,然后通过一个全连接神经网络做预测。以新型冠状病毒肺炎(corona virus disease 2019,COVID-19)疫情的舆情为例,用训练好的模型预测COVID-19的舆情走向。实验结果表明,本文提出的模型可以较准确预测舆情趋势,对于辅助政府和企业引导舆情事件发展有重要的作用。     

基于RNN-CNN集成深度学习模型的PM2.5小时浓度预测

针对目前大部分PM_2.5预测模型预测效果不稳定、泛化能力不强的现状,以记忆能力较强的循环神经网络（RNN）和特征表达能力较强的卷积神经网络（CNN）为基础,采取Stacking集成策略对两者进行融合,提出了RNN-CNN集成深度学习预测模型。该模型不仅充分利用时间轴上的前后关联信息去预测未来的浓度,而且在不同层次上将自动提取的高维时序数据通用特征用于预测,以保证预测结果的稳定性。最后,对集成之前的RNN、CNN和集成之后的RNN-CNN模型,以2016年中国大陆地区1 466个监测站点的空气质量数据为样本进行实例验证,结果表明,RNN-CNN在PM_2.5时间序列预测上的表现明显优于集成之前的RNN和CNN,而且泛化误差更低,在34%站点上的拟合度超过0.97,该模型可用于大范围区域的PM_2.5小时浓度预测。     

基于RNN-CNN集成深度学习模型的PM2.5小时浓度预测

针对目前大部分PM_2.5预测模型预测效果不稳定、泛化能力不强的现状,以记忆能力较强的循环神经网络（RNN）和特征表达能力较强的卷积神经网络（CNN）为基础,采取Stacking集成策略对两者进行融合,提出了RNN-CNN集成深度学习预测模型。该模型不仅充分利用时间轴上的前后关联信息去预测未来的浓度,而且在不同层次上将自动提取的高维时序数据通用特征用于预测,以保证预测结果的稳定性。最后,对集成之前的RNN、CNN和集成之后的RNN-CNN模型,以2016年中国大陆地区1 466个监测站点的空气质量数据为样本进行实例验证,结果表明,RNN-CNN在PM_2.5时间序列预测上的表现明显优于集成之前的RNN和CNN,而且泛化误差更低,在34%站点上的拟合度超过0.97,该模型可用于大范围区域的PM_2.5小时浓度预测。     

径向基神经网络模型在滇东南金矿潜力预测中的应用

采用人工网络神经法（Artificial Neural Network,ANN）有助于理解成矿系统的非线性动力学行为和对矿产资源进行预测.其中的径向基神经网络（Radial Basis Function Neural Network,RBFNN）具有优秀的逼近特性,优化过程简单,训练速度快,适合于需要大量数据综合的矿产预测.采用RBFNN方法对成矿地质条件复杂的中国滇东南地区开展金矿成矿预测.研究结果表明,该模型能快速获取成矿潜力信息.通过采用受试者工作特征（Re-ceiver Operating Characteristic,ROC）曲线进行精度验证,表明该模型具有优越的预测能力.     

基于ABC-RNN算法的机器嗅觉系统

为了解决对短采集时间水果产地进行快速识别的问题,提出一种基于人工蜂群算法优化的循环神经网络(ABCRNN)。该算法利用人工蜂群(ABC)算法对循环神经网络(RNN)的初始权重和偏置进行全局最优搜索,同时RNN以时序信号作为输入信号,降低了网络的复杂度。实验结果表明,ABC-RNN算法具有更快的训练速率和更高的精度,在甜橙和猕猴桃两种水果的产地分类问题上取得了很好的分类结果。     

基于深度学习的非对齐人脸验证方法

当前大多数方法需要对人脸进行对齐等预处理,这不仅影响验证流程的连续性,还严重影响人脸验证的效率。本文设计了两种神经网络模型及三个阶段式的训练验证构架以及基于深度特征与SIFT特征相结合的高效的非对齐人脸验证方法:方法利用卷积神经网络的池化层中间结果同步生成SIFT特征描述符从粗粒度到细粒度进行多级联的非对齐的人脸验证,这极大的提高人脸验证的速度及准确度;在训练阶段提出了使用三元组样本作为输入,Triplet loss作为损失函数有效提高不同人之间的区分度提高人脸验证的准确率;本文根据不同应用场景设计了两种深度学习架构适应小型及大型设备的需要。本方法经过在Web-face数据集训练及在LFW,YOUTUBE等数据集上验证,结果表明该方法具有良好的性能。     

基于改进NARX神经网络算法的光伏发电功率短期预测

为准确地预测光伏发电功率,节约资源,提出一种基于改进非线性自回归(nonlinear autoregressive with external input,NARX)神经网络算法的光伏发电功率短期预测模型。通过皮尔森相关分析选择影响发电功率的环境因素,利用遗传算法(GA)优化受限玻耳兹曼机(RBM)模型参数,避免陷入局部最优;利用优化后的RBM模型初始化NARX神经网络的参数。实例预测表明,改进NARX神经网络算法对光伏发电功率短期预测精度更高,收敛速度更快。     

基于灰色RBF组合模型的宁波港集装箱海铁联运量预测

集装箱海铁联运量预测是海铁联运网络规划设计的重要组成部分,影响港口及其集疏运体系进一步发展,因此,对集装箱海铁联运量做出科学合理的预测显得十分重要.以2009~2015年宁波港集装箱海铁联运量为原始数据,运用灰色RBF神经网络组合模型预测其未来2年集装箱海铁联运量增长趋势.预测结果表明,灰色RBF神经网络组合模型预测精度高于GM(1,1)模型、RBF神经网络模型、灰色BP神经网络组合模型.可见,该组合模型可有效应用于集装箱海铁联运量的预测领域.     

基于迁移学习的蔬菜图像识别方法

为解决蔬菜识别领域缺少带标签样本的问题,提出了一种基于迁移学习的图像识别方法.首先,将原始数据集利用数据增强扩大样本数据量后引入到大规模数据集上的预训练模型.针对迁移过程中高层特征的领域特定性导致的网络泛化性能差,通过加入两层自适应层参数初始化后重新训练得到基本模型;对该基本模型再利用参数冻结的迁移方式进一步调优参数,得到用于蔬菜图像识别的最终网络模型.实验表明,基于CaffeNet和ResNet10两个小型网络的迁移策略可以较好地处理小样本的蔬菜图像识别,训练得到的模型准确率分别为94.97%、96.69%.与其他迁移算法及传统的神经网络方法相比,该算法具有更高的识别性以及更强的鲁棒性.     

基于紧凑型乒乓交换的数字串行接口设计

给出一种基于脉冲编码调制原理实现高速数字传输系统中低速设备接入的方法．用Xilinx公司的XCS20TQ144器件设计了基于单倍数据通道的紧凑型乒乓交换模型，实现32路低速异步串行数据与2Mb／s的E1数据流之间并行转换．在计算机上进行了时序仿真，结果表明新的接口设计方法节省了器件资源，提高了工作速度．通过一个工程实例的实际运行，说明该设计方法在数据传输中具有较好的实用价值．     

基于相关向量机的网络舆情情感趋势预测

对网络舆情事件中网民评论的情感发展趋势进行准确预测具有非常重要的意义和价值.本文提出将网民评论的情感值作为预测指标,通过对评论的句式分析,利用短语模式计算单句及复句的情感值,构建情感值时间序列,建立基于相关向量机的网络舆情情感趋势预测模型,对网络舆情事件中网民评论情感趋势进行预测.选择新浪微博中关注度较高的头条新闻中微博评论的舆情事件作为实验对象,运用本文模型与基于BP神经网络、Elman神经网络等预测模型进行对比.实验结果表明,本文模型具有较高的预测精度,平均绝对百分误差(MAPE)和均方根误差(RMSE)均优于基于BP神经网络和Elman神经网络的预测模型,能较好地预测出网络舆情事件中网民评论情感趋势.     

k-means-RBF集成神经网络在工业尾气检测中的应用

神经网络是工业尾气检测系统的一个重要组成部分. 为提高神经网络的预测精度和收敛速度, 建立k-means-RBF集成神经网络模型. 首先, 通过选取不同的径向基函数神经网络参数, 得到一组RBF神经网络; 然后, 利用k-means算法对生成的RBF神经网络进行聚类, 并筛选出各类中精度较高的神经网络; 最后, 通过简单平均法对筛选出的神经网络进行集成, 得到高性能的k-means-RBF集成神经网络模型. 为验证模型有效性, 搭建基于k-means-RBF集成神经网络模型的工业尾气检测系统进行验证. 结果表明, 与粒子群算法优化后的Back Propagation (PSO-BP)神经网络模型相比, k-means-RBF集成神经网络模型的平均预测精度提高78.27%, 收敛时间节省99.65%     

并行Adaboost-BP算法及其在海量图像分类中的应用

为解决基于单节点架构的传统分类算法存在的时间效率差、分类准确率低等问题,提出了一种基于并行Adaboost-BP神经网络的海量图像分类方法.将BP神经网络作为弱分类器,由Adaboost算法组合15个BP神经网络的输出,构建了强分类器;充分利用了Hadoop平台下Map Reduce并行编程模型,提出了海量图像的自动分类模型,设计了并行Adaboost-BP神经网络算法的Map和Reduce任务.多组实验表明,相对于传统的AdaboostBP神经网络算法,提出的算法在Pascal VOC2007数据集和Caltech256数据集上的平均分类准确率分别提高了14.5%和26.0%,而且算法运行耗时少,系统加速比随集群节点个数增加而增加,在图像规模增加到20 000时,加速比几乎呈线性增长趋势.实验结果充分证明,提出的方法适合海量图像的自动分类和预测.     

哈希编码优化的IRON逆渲染模型：重建几何与材质

将神经网络用于场景几何材质的高效表达，结合逆向渲染在二维光度图的监督下重建高质量的网格和材质贴图，为现有的图形学流水线提供服务——神经渲染已成为近年来计算机图形学新的研究热点。在IRON(inverse rendering by optimizing neural SDFs and materials from photometric images)神经渲染模型基础上，通过引入多分辨率哈希编码，采用冻结训练等方法提高原始模型的训练速度。在多个数据集上的对比实验表明，优化后的IRON逆渲染模型训练速度提升了约40%，且重建结果中包含更多细节。