基于融合自注意力机制的GRU边坡预测算法研究

在对边坡进行准确性和可靠性评价时,传统的预测方法有效预测趋势时间短,且预测趋势与实际变化趋势差异较大。为提边坡形变监测中趋势预测值与实际变化趋势吻合度差的问题,文章提出了基于融合自注意机制的GRU边坡预测算法(Self-attention Gate Recurrent Unit, SA-GRU)。该算法：(1)对边坡监测历史数据进行预处理,从而降低数据集中的随机噪声,同时去除由设备问题产生的重复数据;(2)为了捕捉序列中的长期依赖关系,构建基于GRU的循环神经网络模型,并引入自注意机制以增强模型的关注能力。(3)将LSTM、GRU和SA-GRU 3种网络得到预测结果进行对比,发现融入了自注意力机制的GRU模型可以更好地理解序列中的时间关系,提高了预测的准确性。本算法对边坡形变趋势预测精度更高,在边坡稳定性的预测方面有更好的适用性。     

基于多通道注意力机制的文本分类模型

为解决卷积神经网络(CNN)和循环神经网络(RNN)处理文本分类任务时,由于文本特征稀疏造成的关键特征信息丢失、模型性能不高和分类效果不佳等问题.提出一种基于多通道注意力机制的文本分类模型,首先利用字词融合的形式进行向量表示,然后利用CNN和BiLSTM提取文本的局部特征和上下文关联信息,接着以注意力机制对各通道的输出...     

基于改进的混合自注意力机制模型的研究

自注意力机制被广泛应用于自然语言处理任务中.现有的自注意力机制通常使用软注意力模式,即使用密集注意力矩阵,但随着信息长度增长对应的权重变小,无法提取负面信息.针对以上问题,提出融合硬注意力机制即稀疏注意力矩阵来改进现有模型,充分提取文本中正负信息,弥补传统注意力矩阵不能为负的空白.     

基于全注意力机制的多步网络流量预测

预测资源分配能有效利用无线网络的剩余资源服务非实时业务,其中的关键问题之一是剩余资源的预测,可转化为实时业务流量预测问题。本文把面向自然语言处理提出的全注意力机制引入到时间序列预测问题中,预测未来分钟级时间窗内秒级的流量,通过在每秒记录的实测流量数据集上进行训练和测试,与其他基于循环神经网络和线性、非线性预测模型的方法在复杂度（由训练和测试时间衡量）、预测精度（由平均相对百分比误差衡量）和预测误差统计特性（由预测误差的均值和标准差衡量）等方面进行比较。研究结果表明,与无注意力机制的循环神经网络相比,所设计的基于全注意力机制的方法计算复杂度低,由于多步预测的累积误差,在预测精度方面增益不明显。      

基于注意力机制的深度学习图像压缩

图像压缩是一个基础性的研究领域,许多压缩标准已经发展了几十年。最近,基于卷积神经网络的图像有损压缩逐渐取得一系列显著的进展。目前,最有效的基于学习的图像编解码器采用自动编码器的形式,采用了通道调节（CC）和潜在残差预测（LRP）来提高压缩性能,但图像仍然存在空间上的冗余,从而影响到率失真性能。为了使这一问题得到改善,文章提出使用RBAM注意力模块融入网络体系结构中,以提高性能。实验结果表明,用峰值信噪比（PSNR）作为评价指标,文章所提出的网络结构优于传统方法,达到了更好的率失真性能。     

基于层级注意力机制的链接预测模型研究

为了解决已有图注意力机制在进行链接预测相关任务时,容易造成注意力分配向某些出现频率高的关系倾斜的问题,提出了一种基于层级注意力机制的链接预测模型.在链接预测任务中,通过设计分层注意力机制,根据预测任务中的关系对知识图谱中与给定实体相连的不同类型的关系给予不同的注意力.在关注多跳邻居实体特征的同时,更关注关系特征以找到符...     

基于自注意力机制的多视图三维重建方法

多视图立体匹配是计算机视觉领域的一大研究热点,针对目前多视图立体重建完整性差、无法处理高分辨率图像和GPU内存消耗巨大、运行时间长等问题,提出一种基于自注意力机制的深度学习网络（SA-PatchmatchNet）。首先通过特征提取模块提取图像特征,再将其送入可学习的Patchmatch模块中,得到深度图,并对深度图进行优化,生成最终的深度图。为了捕捉深度推理任务中的重要信息,将自注意力机制融入到特征提取模块,提高了网络的特征提取能力。实验结果表明,SA-PatchmatchNet在Technical University of Denmark(DTU)数据集上进行测试,与PatchmatchNet相比,重建的完整性提升5.8%,整体性提升2.3%,与其他的state-of-the-art(SOTA)方法相比,完整性和整体性都得到了较大的提升。     

基于多头自注意力机制的基数估计研究

基数估计是数据库查询中关键的一步,数据库的查询优化器会根据基数估计的预期结果来从多个物理执行计划中选择最终要执行的计划。针对传统的基数估计方法没有考虑数据各个列之间可能存在的逻辑关系,在数据量过大时估计准确性较低的问题,本文提出了一种基于神经网络的多头注意力机制的基数估计模型,利用数据列之间的逻辑关系提高SQL特征关系的提取效率,通过针对语句的不同组成部分,采用多种细粒度的编码方式有效提取数据之间的逻辑特征;利用多头自注意力机制对特征数据进行加权计算,提高模型的预判准确性。在IMDb数据集上的实验结果表明,该模型可以有效提高基数估计的准确性。     

基于自注意力机制的干扰信号检测识别

为了解决卫星通信系统在对抗电磁环境中的干扰实时检测识别问题,提出了一种基于自注意力(Self-attention,SA)机制的高效轻量化网络模型。通过采用DenseNet加速对原始IQ信号的特征提取,并引入自注意力模块代替参数量较大的多重卷积层,实现对卫星通信系统中常见的干扰样式进行分类识别。仿真结果表明,在识别准确率方面达到常规的神经网络模型和算法性能水平的条件下,所提模型在网络复杂度和运算时延方面得到有效压缩。     

基于词嵌入和自注意力机制的方面提取算法

方面提取是情感分析中的关键步骤,随着互联网的快速发展,短文本数据迅猛增加,对短文本数据加以整理和利用极为重要.本文针对短文本的特殊性,提出了短文本模型WESM.与现有模型不同的是,本文引入了词汇共现网络,丰富了词汇的上下文信息,针对中文数据,引入了cw2vec模型,能够充分利用中文词语的语义信息;为了提高短文本的上下文...     

基于自注意力机制和CycleGAN的高分三号ScanSAR图像的扇贝效应抑制

高分三号卫星是我国首颗分辨率达到1 m的C波段 多极化合成孔径雷达(synthetic aperture radar,SAR) 卫星,其中扫描 式合成孔径雷达(scan synthetic aperture radar,ScanSAR)模式是高分三号卫星重要的工 作模式之一,由于该模式的工作机制导致生成的图像可能发生扇贝效应,一般呈现为明暗相 间的条纹。本文针对高分三号卫星ScanSAR模式下存在的扇贝效应,提出自注意力机制与循 环一致对抗网络(cycle-consistent adversarial networks,CycleGAN)结合的模型对Scan S AR图像进行处理,从而抑制扇贝效应产生的条纹现象。本文所示方法与传统扇贝效应抑制方 法和深度学习相关算法进行比较,并通过亮度均值、平均梯度等指标进行分析。实验结果表 明,本文方法可以对高分三号ScanSAR图像存在的扇贝效应进行较好的处理,有效抑制图像 的条纹现象,使得图像质量得到提升,具有较大的实用意义。     

双通道接收的无扫描激光成像技术

比较了几种无扫描激光三维成像技术的优缺点,提出一种基于双通道接收的强度调制型无扫描激光三维成像技术,该技术具有成像速度快、精度高、可靠性好、距离远的特点。采用大功率脉冲激光器作为激光照射源,两路ICCD同时接收,双通道分光系统将接收回波分到两路ICCD,通过两路ICCD强度信息反演出目标各点距离信息。重点介绍了该项技术工作原理和实现方法,研制了原理样机,进行了成像实验,对成像结果进行了分析,实现了作用距离5.1 km、作用距离30 m时距离分辨率0.25 m的技术指标。     

基于交叉自注意力机制的LiDAR点云三维目标检测

针对基于深度学习的激光雷达(light detection and ranging, LiDAR)点云三维(3D)目标检测对小目标的检测精度较低和噪声干扰问题,提出一种基于交叉自注意力机制的3D点云目标检测方法CSA-RCNN (cross self-attention region convolutional neural network)。利用交叉自注意力(cross self-attention, CSA)同时学习点云的坐标和特征,并设计多尺度融合(multi-scale fusion, MF)模块自适应捕捉各层级多尺度特征。此外,还设计重叠采样策略对感兴趣目标区域选择性地重采样以获得更多前景点,有效降低了噪声采样。在广泛使用的KITTI数据集上进行算法性能测试,结果表明,本文方法对行人等小目标的检测精度有较大提升,平均精度均值相比PointRCNN等4种经典算法均获得提升,显著提高3D点云目标的检测性能。     

基于多通道数据传输技术的无线视频监控系统

文章基于现代通信技术的发展现状,结合计算机网络技术,介绍了基于多通道多媒体数据传输技术的无线视频监控系统.该监控系统利用多个无线模块建立若干条通信链路,并根据各链路的通信质量动态调整数据传输模式,兼容多种传输协议,保障了多媒体数据传输的流畅度和清晰度,实现了对所有无线覆盖地区的网络远程监控.     

基于多通道高朗伯特性的辐射测量技术研究

近年来大气气溶胶与日俱增,对全球气候和大气环境产生了巨大的负面影响,同时气溶胶的污染特性与臭氧层的破坏有密切关联,为对大气气溶胶、臭氧及太阳辐射剂量进行监测,本文提出一种新型大气探测辐射计的研制及测量方法,该方法研制的辐射计既可用于气候监测,又可用于农业监测。辐射计涵盖可见-红外谱段,同时拥有七个探测通道,它特有的三片式平面匀化器,可控制辐射剂量,保证双腔式探测器的高朗伯特性,经实验验证朗伯特性误差不超过2%。进行高精度辐射定标后,辐射计可获取精确的太阳辐射信号,进而反演出大气气溶胶光学厚度及臭氧浓度等参数,以此指导气候分析及农业生产。     

多通道多气体光纤传感技术的研究

基于气体的近红外吸收机理,研究了一种可以检测多种气体的光纤传感器.根据被测气体的吸收峰对应波长选择不同的分布反馈式半导体激光器为光源.采用光纤多通道同时测量,配以独特设计的气室探头,可用于煤矿等恶劣环境.对甲烷和一氧化碳气体浓度的检测实验表明,该系统具有较高的灵敏度、精度、稳定性.     

基于虚拟仪器技术的高速多通道信号采集系统设计

虚拟仪器技术以其开发高效、投入成本低等优点,在动态测试及控制领域应用越来越广泛。文中基于虚拟仪器技术设计的的高速多通道信号采集系统,用于爆炸应力波测试,能够同时测试64通道的测点数据,每通道采样速率为1MSPS。进行现场实验,取得了有效数据。     

基于DSP和CPLD技术的多路ADC系统的设计与实现

介绍了基于DSP和CPLD技术．高精度多通道的ADC系统的设计与实现方案，利用简单的硬件电路和软件编程，采用DSP和CPLD相结合的方法，动态地设置采样通道，控制模数转换器MAX1162的数据采样及传输。     

基于自注意力卷积神经网络的实体关系抽取

在自然语言处理解领域中,实体关系抽取作为信息抽取中的一个重要分支,旨在从自然文本中提取出两个实体之间的语义关系。大多数研究工作都是基于NLP系统的特征,特征提取工程和预处理过程十分冗杂,并且由LTP工具提取出来的特征会在模型中迭代而产生错误传播。为了避免对NLP系统的滥用,提出一种基于端到端的自注意力卷积神经网络模型来提取实体对之间的语义关系。实验结果表明,该方法在SemEval-2010 Task 8数据集上的F₁值提高了约1.3%。