基于遗传注意力机制的DLSTM电力系统混沌预测

提出一种基于遗传算法优化注意力机制的深度长短期记忆网络(DLSTM)方法,用于电力系统的混沌预测。通过传递共享参数,将遗传算法优化的注意力机制加入DLSTM模型中,可以挖掘时间序列中潜在特征,同时避免陷入局部优化。该方法是一种受进化计算方法启发的寻优方法,可以很好地学习注意力层中的参数。电力系统混沌预测实验表明所提模型比其他参考模型具有更高的预测精度和长期预测能力。     

基于混合神经网络和注意力机制的混沌时间序列预测

为提高混沌时间序列的预测精度,提出一种基于混合神经网络和注意力机制的预测模型(Att-CNNLSTM),首先对混沌时间序列进行相空间重构和数据归一化,然后利用卷积神经网络(CNN)对时间序列的重构相空间进行空间特征提取,再将CNN提取的特征和原时间序列组合,用长短期记忆网络(LSTM)根据空间特征提取时间特征,最后通过注意力机制捕获时间序列的关键时空特征,给出最终预测结果.将该模型对Logistic,Lorenz和太阳黑子混沌时间序列进行预测实验,并与未引入注意力机制的CNN-LSTM模型、单一的CNN和LSTM网络模型、以及传统的机器学习算法最小二乘支持向量机(LSSVM)的预测性能进行比较.实验结果显示本文提出的预测模型预测误差低于其他模型,预测精度更高.     

注意力机制融合前端网络中间层的语声情感识别

为了使机器能够更好地理解人的情感并改善人机交互体验,可对语声特征及分类网络进行融合以提升情感识别性能。本文从网络融合的角度,把基于梅尔倒谱系数和逆梅尔倒谱系数的二维卷积神经网络和基于散射卷积网络系数的长短期记忆网络作为前端网络,提取前端网络的中间层作为话语级的特征表示,利用压缩-激励(SE)通道注意力机制对前端网络的中间层的权重进行调整并融合,然后由深度神经网络后端分类器输出情感分类结果。在汉语情感数据集中进行五折交叉验证的对比实验,实验结果表明,基于SE通道注意力机制的网络融合方式可以有效地利用不同前端网络在语声情感识别任务中的优势,提高语声情感识别的准确率。     

转轮除湿空调系统能耗分析及节能措施研究

针对常用的转轮除湿空调系统能耗高的问题,通过理论分析,提出了转轮除湿机与预冷器或热回收装置不同组合下的三种节能型转轮除湿空调系统,并建立相应的能耗数学模型。实例能耗分析表明:有预冷的转轮除湿空调系统比无预冷的转轮除湿空调系统总能耗低40.9%~43.8%;有热回收转轮的除湿空调系统比无热回收转轮的除湿空调系统总能耗低16.1%~20.2%;预冷热回收型转轮除湿空调系统能耗最低,比传统冷却除湿空调系统节能12.8%。处理空气先预冷后除湿和增加热回收装置的措施可大大降低转轮除湿空调系统能耗。     

基于最优相空间重构参数的空调系统负荷预测

空调系统负荷非线性变化,单独利用人工神经网络方法进行预测,受到样本数量少等的限制,精度一般都比较低。空调系统负荷时间序列包含了参与空调系统动态变化的全部变量的信息,可以利用相空间重构技术提取和恢复出系统原来的规律。重构后的相空间具有与实际动力系统相同的几何性质,这样就可以大大增加样本数。相空间重构受嵌入维数m和延迟时间τ的影响,确定这两个重构参数的最佳数值是非常重要的。建立了基于相空间重构技术的神经网络空调负荷预测模型,在嵌入维数m和延迟时间τ分别取不同的值时,利用这个模型对相同时间段的空调负荷进行预测,选择预测误差最小时对应的参数为最佳相空间重构参数,对应的预测值为最佳预测结果。结果表明,这个方法有很好的效果,具有简化计算复杂性等特点。     

基于可见光谱和改进注意力的农作物病害识别

基于可见光谱的农作物病害自动化识别和诊断是一个具有挑战性的研究领域,但现有基于卷积神经网络进行病害识别的研究往往利用深层网络牺牲模型参数量来提高对单一农作物病害识别的准确率,从而造成硬件资源的浪费.为提高农作物病害识别的准确率且避免深层网络的使用,该研究将注意力机制引入农作物病害识别领域,提出了一种基于可见光谱和改进注...     

基于PSO-LM-BP算法的空调系统节能预测控制研究

针对夏季建筑空调系统能耗高、碳排放量大的问题,提出一种改进后的LM-BP神经网络,并结合粒子群优化算法,建立基于建筑历史数据的空调系统冷负荷神经网络预测模型,通过粒子群算法寻优得到不同负荷率下冷源系统各设备的最优运行参数。以青岛某一公建项目为例,采用TRNSYS仿真模拟空调运行能耗。结果表明,与传统控制策略相比,所采用的空调系统负荷预测控制策略节能9.9%。     

基于多尺度残差注意力网络的水下图像增强

针对水下图像由水的散射、吸收引起的色偏、色弱、信息丢失问题,提出了一种基于多尺度残差注意力网络的水下图像增强算法。该网络引入了改进的UNet3+-Avg结构与注意力机制,设计出多尺度密集特征提取模块与残差注意力恢复模块,以及由Charbonnier损失和边缘损失相结合的联合损失函数,使该网络得以学习到多个尺度的丰富特征,在改善图像色彩的同时又可保留大量的物体边缘信息。增强后图像的平均峰值信噪比(PSNR)达到23.63 dB、结构相似度(SSIM)达到0.93。与其他水下图像增强网络的对比实验结果表明,由该网络所增强的图像在主观感受与客观评价上都取得了显著的效果。     

结合卷积神经网络与混响时间注意力机制的混响抑制

提出一种结合卷积神经网络的编解码器模型和混响时间注意力机制的混响抑制算法,该算法通过编解码器模型实现混响抑制,并利用混响时间注意力机制克服混响环境变化对混响抑制效果的影响。该算法在编码器中使用具有不同大小的卷积核来处理混响语音幅度谱,从而获得包含多尺度上下文信息的编码特征;通过引入注意力模块,实现在不同的混响时间环境中选择性地使用不同权重的编码特征生成加权特征;最后,在解码器中使用加权特征来重建混响抑制后的语音信号幅度谱。在模拟和真实的混响环境下,该算法相对于基线系统在语音混响调制能量比上分别取得了0.36 dB和0.66 dB的提升。实验结果表明,该算法可以适应不同混响环境的变化,相对基线系统在真实混响环境下具有更高的鲁棒性。     

结合注意力机制的改进U-Net网络在端到端语音增强中的应用

设计了一个适用于端到端语音增强的改进的U-Net (Attention Dilated Convolution U-Net,ADC-U-Net)网络模型。与基线U-Net网络相比,一方面通过加入空洞卷积减小由采样带来的信息损失;另一方面引入了注意力机制结构,结合了含噪语音更多的上下文信息,提取更深层次和更丰富的特征信息。与传统语音增强方法相比,所提模型无需提取特征、对特征去噪、重构语音3个步骤,避免了对显性特征的依赖,转而由网络模型通过多层次多尺度学习获得隐性特征。用多个主客观指标对增强语音的质量和可懂度进行了评价。实验数据显示所提算法在噪声抑制能力和对噪声的适应度方面均表现出良好的性能,与基线U-Net网络及其它模型相比,展示了良好的语音质量和可懂度。     

基于邻域像素注意力机制的光场深度估计方法

通过发掘深度信息与子孔径图像邻域像素间的高度相关性,提出了一种基于邻域像素注意力机制的光场深度估计方法。首先根据光场图像的数据特性提出了一种邻域像素注意力机制,该注意力机制考虑了不同子孔径图像在同一邻域间的极几何关系,能够增强网络对遮挡像素的感知能力。其次基于注意力机制设计了一个光场子孔径图像序列特征提取模块,该模块通过三维卷积将相邻序列图像上的特征编码到特征图上,并通过注意力机制增强网络对光场图像极几何特征的学习能力。最后联合邻域像素注意力机制和特征提取模块设计了一个多分支的全卷积神经网络,该网络使用部分光场子孔径图像序列即可估计图像的深度特征。实验结果表明,所提方法在均方误差（MSE）和平均坏像素率（BP）指标上总体表现优于其他先进方法,同时得益于高效注意力机制的加入,与其他先进方法相比所提方法运行速度最快。     

基于注意力机制的多曝光图像融合算法

针对多曝光图像任务缺乏真值图像,以及现有多曝光图像融合算法存在的边缘特征丢失、细节模糊等问题,本文提出了一种基于注意力机制的多曝光图像融合算法.该算法建立权重独立的双通道Unet网络,对目标场景不同曝光图像分别进行特征提取,生成不同曝光图像的高维多尺度特征图;通过视觉注意力机制凸显目标场景在不同曝光下对融合有利的特征,...     

Att-U-Net：融合注意力机制的U-Net骨导语声增强*

近年来大量全卷积网络、U-Net等编解码网络结构应用于语音增强,它们具有计算复杂度低、模型参数少等优势。然而,与长短时记忆模型等方法相比,这些编解码结构仍存在不能充分利用先后时间之间和高低频率之间的关联信息等缺点,尤其对于长序列数据的输入,编解码结构存在信息丢失的问题。为保持计算效率的同时考虑更充分的时频关联信息建模,本文提出一种融合注意力机制的U-Net网络的骨导语音增强方法（Att-U-Net）,通过在跳跃连接中引入注意力机制,生成一个权重矩阵,将编码层中的全局信息根据权重融入对应的解码层中,使网络在编解码过程中能够关注输入数据中与增强目标相关程度高的重要信息,同时抑制不相关的信息。在骨导语音数据集上的实验表明,融合注意力机制的U-Net网络能在保持模型轻量化的同时有效提升骨导语音的增强效果,增强后的语音在各项客观评价指标上均优于基线模型。通过对编解码网络中间层的可视化分析发现,在解码过程中注意力机制有效地保留了有声段的信息,滤除了骨导语音由于骨导传声特性带来的中频共振,从而使得增强后的骨导语音具有较好的听觉效果。     

结合注意力和残差聚合的图像超分辨率算法

为解决残差块间的层级特征利用不充分导致生成的图像结构扭曲、视觉模糊等问题,提出结合注意力和残差聚合的图像超分辨率重建算法。网络通过浅层特征聚合模块获取多尺度的特征并输入到残差聚合网络,采用渐进式融合策略从局部和全局两方面对各个残差块的特征进行聚合,以达到充分利用残差块层级特征的目的。为进一步增强特征表示,利用双重注意力机制分别从空间和通道来关注特征之间的相互依赖性。实验结果表明,与SRCNN、FSRCNN等方法相比,算法重建的图像结构清晰且细节信息丰富。     

基于注意力机制与图卷积神经网络的单目红外图像深度估计

对场景中的物体进行深度估计是无人驾驶领域中的关键问题,红外图像有利于在光线不佳的情况下解决深度估计问题.针对红外图像纹理不清晰与边缘信息不丰富的特点,提出了将注意力机制与图卷积神经网络相结合来解决单目红外图像深度估计问题.首先,在深度估计问题中,图像中每个像素点的深度信息不仅与其周围像素点的深度信息相关,还需考虑更大范...     

基于注意力机制的多目标优化高光谱波段选择

神经网络的注意力机制可以从数据中提取关键信息,将这一特性运用在高光谱波段选择上有助于充分学习波段之间的相互依赖和非线性关系,提取更重要的波段。提出了一种基于注意力机制的多目标优化高光谱波段选择算法。首先,利用注意力模块和自编码器构建网络;然后,将一维光谱数据作为网络输入,采用两种损失函数并结合多目标优化方法对输入数据进行训练,使嵌入在网络中的注意力模块充分学习各波段之间的非线性关系,对信息量大和易于分类的波段赋予更大的权重,以实现波段选择;最后,利用支持向量机分类器和平均光谱散度验证波段子集的性能。实验结果表明:相比于其他算法,所提算法在Botswana与Indian Pines数据集上提取的波段子集的分类精度更高,信息量更大,由此证明了所提算法对高光谱波段选择的有效性。     

基于残差注意力网络的波前畸变复原方法

针对自由空间光通信中大气湍流造成涡旋光束相位畸变,导致通信系统性能下降的问题,提出一种基于残差注意力网络的自适应光学波前复原方法。为防止神经网络的退化现象,首先采用残差网络作为主干网络,并在此基础上构建多尺度残差混合注意力网络结构,用卷积操作将光强图像转换为特征图向后传播;其次通过不同尺度的卷积核来分布式提取特征,利用注意力机制提高网络对破损光斑特征的识别率,以增强网络表达光强图像特征的能力;最后设计结合现实评价指标的网络损失函数,从而得到符合实际波前像差的Zernike系数。在不同大气湍流强度条件下开展仿真,结果表明,残差注意力网络能快速准确地重构湍流相位,复原的残余像差的波峰波谷在0.05～0.3 rad之间,均方根在0.01～0.07 rad之间。     

融合多重自注意力和可变形卷积的多模态脑胶质瘤分割

脑胶质瘤的磁共振图像分割对于脑肿瘤的诊断、手术规划以及放疗等治疗方案的确定具有非常重要的意义．针对现有脑肿瘤分割算法分割精度不高边缘分割不精确,易出现假阳性的问题,本文提出一种基于多重自注意力和可变形卷积的Unet改进模型．模型将原始Unet框架的标准卷积替换为残差模块,以防止模型训练过程中出现梯度消失;通过在瓶颈层加入基于Transformer的多重自注意力模块来提取局部特征和全局上下文信息,以更好地挖掘像素间的相关性;在跨层连接处采用可变形卷积来增强模型对形状感知的敏感性,以提升肿瘤边缘特征的提取能力．实验结果表明,所提算法的分割结果评价指标高于使用同样数据集的其他对比模型,而且对肿瘤边缘的分割更加精确．这表明本文算法是一种有效的脑胶质瘤自动分割算法．