基于注意力机制的深度学习推荐模型研究

文章从注意力机制结合其他深度技术的角度探讨基于注意机制的深度学习技术在推荐领域的应用类型,将注意力机制结合卷积神经网络、循环神经网络进行归纳梳理,并对局限性进行探讨,最后展望推荐领域未来研究趋势.     

基于迁移学习的注意力胶囊网络

胶囊网络(Capsule Network,CapsNet)通过运用胶囊取代传统神经元,能有效解决卷积神经网络(Conventional Neural Network,CNN)中位置信息缺失的问题,近年来在图像分类中受到了极大的关注.由于胶囊网络的研究尚处于起步阶段,因此目前大多数胶囊网络研究成果在复杂数据集上表现的分类...     

基于注意力机制与迁移学习的乳腺钼靶肿块分类

针对乳腺钼靶图像中良恶性肿块难以诊断的问题,提出一种基于注意力机制与迁移学习的乳腺钼靶肿块分类方法,并用于医学影像中乳腺钼靶肿块的良恶性分类.首先,构建一种新的网络模型,该模型将注意力机制CBAM(Convolutional Block Attention Module)与残差网络ResNet50相结合,用于提高网络对...     

多尺度注意力机制的电子元器件深度迁移识别方法

电子元器件的识别对于现代电子产品的智能生产和制造具有重要的作用,为了进一步获取电子元器件图像的关键特征,提升图像细粒度表达能力,提出一种基于多尺度注意力机制深度迁移识别方法。以Xception为主干网络架构,引入多尺度池化通道注意力和多尺度空间注意力模块,结合空间金字塔池化的思想,对特征图的每个通道进行不同尺度的最大池化和均值池化,获取通道方向上不同尺度的特征信息;在空间层面上进行不同尺度的空洞卷积,增大特征图的感受野,获取更加全面的空间特征信息;通过深度迁移学习,实现特征参数共享,进一步提高模型的泛化能力。在5种常见的电子元器件数据集上进行实验,结果表明,所提方法能有效获取图像不同尺度的显著特征信息,提升识别效果。     

基于知识聚合和迁移的跨领域推荐算法

传统的推荐算法受限于单领域中用户和项目的稀疏关系，也存在用户冷启动等问题.跨领域推荐能够通过学习辅助领域的知识去丰富目标领域的稀疏数据以提高推荐准确率.本文提出了一种知识聚合和迁移相结合的跨领域推荐算法ATCF.与已有算法不同，在对共性知识和个性知识的表示学习中，ATCF均充分融合了辅助域和目标域的知识，通过基于矩阵分解的两级矩阵拼接和两次矩阵填充，得到在群集矩阵及评分矩阵上的共性知识表示；通过知识迁移，构建了重叠用户和非重叠用户的个性知识表示，有效避免了负迁移.在两个跨领域数据集上开展的实验表明，ATCF算法与已有单领域和跨领域推荐算法相比RMSE降低了3%~7%，准确率召回率增加了8%~15%.     

基于注意力机制和用户行为序列的推荐模型研究

现有多数推荐方法主要根据用户在会话期间点击的物品信息为用户推荐所需信息,但用户的兴趣在不同的时间会发生变化,因此很难从用户会话所点击的项目中获得用户的准确信息。为此,文中提出一种结合自我注意力网络（SAN）和循环神经网络中的门控循环单元（GRU）的SAN-GRU混合推荐模型,以预测用户的真实意图。首先,使用多层自我注意网络捕获会话中用户-物品之间交互的全局依赖,从而获取用户行为序列中的用户长期偏好,并采用GRU隐藏层的最后一个隐藏状态来表示用户在当前会话中的短期兴趣;其次,将长期兴趣和短期兴趣进行线性结合以获得会话最后的表示,来预测下一个项目被点击的概率。为验证所提方法的有效性,选取Yoochoose和Diginetica两个公开标准数据集,与基于会话的递归神经网络推荐模型（GRU4REC）等基线方法进行实验对比。结果表明,相较于基于会话推荐的短期注意力/记忆优先级模型（STAMP）,SAN-GRU混合推荐模型在Yoochoose 1 64数据集下的召回率提升6.8%,在Yoochoose 1 4数据集下的召回率和排名倒数的平均值分别提升1.6%和9.3%。     

基于艾宾浩斯遗忘曲线和注意力机制的推荐算法

传统基于注意力机制的推荐算法只利用位置嵌入对用户行为序列进行建模,忽略了具体的时间戳信息,导致推荐性能不佳和模型训练过拟合等问题。提出基于时间注意力的多任务矩阵分解推荐模型,利用注意力机制提取邻域信息对用户和物品进行嵌入编码,借助艾宾浩斯遗忘曲线描述用户兴趣随时间的变化特性,在模型训练过程中引入经验回放的强化学习策略模拟人类的记忆复习过程。真实数据集上的实验结果表明,该模型比现有推荐模型具有更好的推荐性能。     

基于多任务学习和注意力机制的双分支深度换脸检测方法

深度换脸技术的出现严重威胁了公众的隐私安全。为了解决现有深度换脸检测方法的局限性,基于多任务学习策略提出了一种双分支检测网络,实现在检测视频伪造的同时逐帧检测。该网络引入了注意力机制和时序学习模块,通过学习局部空间信息和时序信息提升检测性能。该方法在公开数据集Celeb-DF和FaceForensics++上获得了比当前先进换脸检测方法更高的准确率和ROC(Receiver Operating Characteristic)曲线下面积（Area under ROC Curve,AUC）,面对不同光照、人脸朝向、视频质量时表现出了良好的鲁棒性。     

基于双注意力机制的雾天图像清晰化算法研究

针对传统去雾算法容易依赖先验知识以及恢复出来的清晰图像会产生颜色失真等问题,本文提出一种基于双注意力机制的雾天图像清晰化算法。首先将雾图输入编码器,经过下采样后得到特征图像;特征提取模块将多个特征提取基本块联结在一起,每个基本块由局部残差学习和特征注意模块组成,提高图像质量以及图像特征信息的利用率,增加网络训练的稳定性;然后通过通道注意力与多尺度空间注意力并行的结构处理特征图像,使得网络更加关注细节特征,提取更多关键信息,同时提高网络效率;最后将融合后的特征图像输入解码器中,经过多级映射,得到与输入大小匹配的雾密度图。实验结果表明,不论是对合成雾天图像或者真实雾天图像,本文算法能够高效地进行去雾处理,得到更自然的清晰图像。     

基于知识迁移和注意力融合的方面级文本情感分析

方面级情感分析是针对一个评论中涉及多种方面类别时的情感分析,现有方法通常利用方面级数据集在神经网络模型上直接进行训练,但已标注的方面级训练数据规模较小,造成模型不能充分学习而性能受限.为解决上述问题,本文利用迁移学习的思想,将数据量较大的文档级数据进行情感分析模型的预训练,进而获得丰富的文本语义、句法信息和情感特征,然...     

基于潜在因子模型的跨领域信息推荐算法

互联网环境下,不同领域中多源异构信息对象的交互融合使用户面临大数据环境下的信息选择困境,传统的信息推荐算法已很难适应跨领域的信息推荐服务.综合分析了不同领域内用户对信息对象的评价数据,基于潜在因子模型抽取了不同领域中某一用户聚类集合对某一信息对象聚类集合评分模式的跨领域共性特征和单领域个性特征,进而通过传递、共享跨域共性特征信息的方式缓解了目标领域的数据稀疏性问题,提高了跨域信息推荐的准确度.     

基于共享知识模型的跨领域推荐算法

互联网的普及使得大量信息不断累积,推荐系统作为解决信息过载的有效手段,能够帮助人们迅速准确地筛选出感兴趣的内容.但是由于用户项目评分数据过于稀疏,新用户或新商品存在"冷启动"问题,使得传统的推荐算法计算复杂性过高、准确性较低.考虑到用户会在互联网不同领域使用各类应用,在不同领域积累了大量行为数据和评价信息.而从用户群体的角度来说,在不同领域间存在着用户群体的偏好相似性,因此如果通过在不同领域中共享代表偏好的知识模型,将有助于提升在新领域推荐的准确性,解决冷启动问题.本文提出了基于共享知识模型的跨领域推荐算法SKP （Sharing Knowledge Pattern）,通过对各个领域中用户-项目的评分矩阵分解,得到用户的潜在特征矩阵和项目的潜在特征矩阵,对用户和项目的潜在特征分别聚类,得到了用户分组对项目分组的评分知识模型,最终利用目标领域的个性知识模型和各个领域的共性知识模型来得出推荐结果.本文对三个不同领域的数据集进行了分析和划分,并在物理集群环境下进行了实验.结果表明,通过利用数据稠密的辅助领域数据,本文提出的SKP算法与已有的单领域算法、跨领域算法相比,具有更高的准确率和更低的RMSE值.     

基于逆注意力机制和像素相似度学习的图像分割

针对图像语义分割中目标边界容易混淆、定位不准以及边界不平滑问题,在Deeplab v2 Resnet-101网络的基础上引入提出的逆注意层与像素相似度学习层,构造了一种新的语义分割的网络结构,并设计了注意力层和像素相似度学习层的损失函数。首先,使用Deeplab v2 Resnet-101网络提取图像语义特征;然后,利用提出的逆注意力层修正预测网络的分割结果,同时,利用提出的像素相似度学习层解决边界不够平滑的问题;最后融合两者分割的结果,得到语义分割的结果。在PASCAL-Context上取得了像素准确度76.2%、像素平均准确度59.7%、平均IoU(Intersection over Union)准确度指标49.9%的结果,在PASCAL Person-Part、NYUDv2、MIT ADE20K数据集上分别取得了平均IoU准确度指标69.6%、42.1%、44.38%的结果,与已有的主流方法相比,所提算法能够提升语义分割的精确度,验证了算法的有效性。     

采用注意力机制和多任务训练的端到端无语音识别关键词检索系统

传统的关键词搜索（KWS, Keyword Search）系统依靠自动语音识别（ASR, Automatic Speech Recognition），通常在资源不足的情况下很难训练。为了免去训练完整的语音识别系统，无语音识别（ASR-free）的关键词检索系统受到越来越多的欢迎。本文提出了一个端到端（E2E, End-to-End）的关键词检索系统，该系统由两个编码器，两个解码器，一个注意机制和一个判别器组成。本文在所提出的系统中引入了注意力机制，该机制可以合并编码器输出的文本和音频特征从而辅助定位关键词所在的位置。在文本和音频解码器的不同组合情况下，使用Babel阿萨姆语和普什图语数据集测试系统。实验结果表明，相比于基线系统而言，该系统拥有更好的检测性能。相比于基于语音识别的关键词检索系统，该系统对于集外词（OOV, Out-Of-Vocabulary），在STWV（Supremum Term Weighted Value）指标上，取得了更好的效果。当训练数据量受限时，该系统比基于语音识别的关键词检索系统更具有优势。      

跨域融合机理与运用研究

随着人类社会科技的发展与战争形态的演变,未来的冲突本质上是多领域的对抗,跨域融合成为研究未来战争制胜机理的重要课题.文中阐述了跨域融合相关研究的国内外发展现状,探讨了跨域融合基本概念的认识与理解,研究了跨域融合的关键机理,提出了跨域融合运用流程和运用模式,明确了跨域融合的协同运用机制,对跨域协同、多域作战、全域作战等理...     

一种基于多任务学习的科学文献推荐算法

传统推荐算法通过主题模型或者词语向量化的平均值对文本内容进行映射。针对现有方法不能充分利用文本信息或忽略词序信息这一问题,文中面向科学文献,提出了一种多任务学习推荐方法。该方法基于多任务学习框架,设计编码器并搭建了GL模型。该模型被训练为内容推荐与文本元数据预测的组合,可改善传统协同过滤的稀疏性问题,使得协同过滤模型正则化。最后,分别在公开数据集与私有数据集上进行了评估测试,结果表明所提方法性能优于现有的经典方法。     

融合内容表示的度量排序学习推荐模型

融合内容语义信息的推荐模型可以有效缓解音乐推荐系统中的数据稀疏性和冷启动问题.然而,这些模型是通过最小化预测评分误差学习用户与音乐的全局关系,忽略了用户和音乐隐式特征的细粒度差异.此外,内容语义特征是以推荐任务无关的无监督学习方式提取的,从而导致不精确推荐.为此,本文提出了融合内容表示的度量排序学习推荐模型,该模型是以个性化排序最优化为目标的概率图模型,利用度量学习从全局和细粒度层面挖掘用户音乐偏好.为了解决冷启动推荐问题,本文建立了与推荐任务相关的监督学习策略训练内容语义特征提取模型.在KKBOX和MIGU数据集上的实验结果表明,提出的模型显著提升了冷启动音乐推荐的效果,在不同稀疏度数据集上的鲁棒性得到了显著增强.