分类器集成算法研究

分类器集成作为机器学习算法设计的一种重要策略,具有高泛化性能的优点,已广泛应用于遥感、生物信息、图像处理等领域,逐渐成为研究热点.以三种常用的集成方法bagging、boosting和stacking为线索,分别从算法思想、算法评价、算法改进与变种、算法应用等角度进行探讨,为构建高准确率分类器集成系统建立指导.最后,对分类器集成算法的未来发展方向进行了展望.     

基于深度稀疏自编码网络的植物叶片分类

针对传统机器学习方法对植物叶片图像分类识别率不高的问题,探讨了基于深度稀疏自编码网络(Deep Sparse Autoencoder Network,DSAN)的植物叶片分类研究。自动编码器通过编码和解码重构输入数据,对植物叶片进行分层特征学习,在自动编码器上添加稀疏限制,对隐含层神经元进行压缩,从而学习到更高层的隐含特征用于分类,解决了因选取的特征表达不足导致网络模型分类性能不佳的问题。实验采用公开的植物叶片图像数据库MalayaKew(MK)作为研究对象,该数据集包含44类植物。将预处理之后的叶片图像直接作为输入数据,通过DSAN学习到叶片的高层特征,结合Softmax分类器用于分类。实验结果表明,该算法能够有效提高植物叶片图像的分类精度,在植物分类领域具有一定的应用价值。     

面向代码演化的集成软件缺陷预测模型

不同版本的软件缺陷之间存在一定的关联性,在面向演化项目的缺陷预测方面通常通过构建预测模型,以历史版本缺陷数据为输入,对后续版本的缺陷进行预测,但普遍存在缺陷预测性能较差的问题。针对该问题,提出了一种面向代码演化的集成软件缺陷预测模型,通过选择与缺陷相关联的代码度量元以及版本间的演化度量元,由决策树（J48）、逻辑回归（LR）、神经网络（NN）、朴素贝叶斯（NB）各自迭代产生分类器,结合Adaboost集成学习方法,使其在训练分类器时更关注每一轮的错分元组,得到不同的预测集成模型。在PROMISE软件数据集上实验表明,针对代码演化问题,集成后的模型比单一的机器学习模型在精确度、召回率、F1和AUC上分别都提高了20.3%、44.9%、43.4%、45.3%,其中基于J48分类器的集成模型预测性能最好,比基于LR、NN、NB分类器的集成模型在AUC指标上平均提高7.7%、4.6%、8.0%,与近年来面向演化项目的缺陷预测技术对比,结果表明本文中集成方法更有效。     

网络流量异常检测方法：SSAE-IWELM-AdaBoost

针对传统入侵检测方法在高维海量数据且类别分布不均衡的环境下检测性能较差的问题,提出一种流量异常检测方法SSAE-IWELM-AdaBoost,该方法基于堆叠稀疏自编码网络(stacked spare auto encoder,SSAE)并融合改进加权极限学习机(weighted extreme learning machine,WELM)。该方法首先使用堆叠稀疏自编码网络直接从原始流量数据中自动学习并提取特征,获取原始数据的低维抽象表示,然后以WELM作为集成算法(AdaBoost)的基础分类器,利用修改的训练样本权值分配规则和基分类器权值更新公式迭代训练基分类器,通过加权投票表决的方法得到最优强分类器完成网络攻击流量的识别。在UNSW-NB15数据集上进行仿真实验,实验结果表明,SSAE-IWELM-AdaBoost算法可以提高整体的检测精度以及小样本攻击的检测率,缩短分类器的训练时间,能较好地满足大规模网络环境下原始流量数据实时检测,对不均衡流量数据识别也具有较好的表现。     

基于关联规则遥感影像的分类研究——以渭库绿洲为例

对遥感影像的计算机图像处理与识别技术是现阶段遥感技术研究的热点内容,本文对新疆渭干–库车河流域不同分辨率的全色影像与多光谱影像融合并构建多源空间数据库,再通过与面向对象分类法相结合,进行图像分割、特征提取后将结果取值输入Matlab软件,编制相应的算法程序,构建关联规则分类器,探索分类规则并进行遥感影像的分类.同样基于Matlab软件平台,根据最大似然分类算法对同一研究区影像进行分类,并对分类结果进行精度检验.结果表明:相较传统分类方法,关联规则方法拓宽了传统逻辑推理分类方法中获取信息的途径,使分类更加智能化,提高并增强了影像分类速度与算法可靠性,分类精度得到显著提高,Kapp系数为0.83.因此,关联规则方法更适用于影像分类,可以作为研究区有效信息提取的支持手段.     

基于机器视觉的番茄实时分级系统设计

针对人工检测番茄品质效率低、主观性强等问题,设计了基于机器视觉技术的适应于番茄外部品质检测的多方法融合的图像采集及图像处理系统.首先,采用颜色直方图获取番茄的颜色特征;其次,通过边界跟踪算法得到番茄的半径序列点,经过傅里叶变换与反变换处理,计算出番茄的不规则度,从而对其形状特征进行描述,同时,将格林公式变形求得番茄形心坐标,并利用圆形度计算其最大横径,以获取番茄的大小特征;最后,用基于线性判别函数和决策树的模式分类器对番茄的大小、颜色和形状特征综合进行分级处理.实验结果表明,系统分级结果基本稳定,分级精度达到92%.     

一种改进的1-v-1 SVM多类分类算法

针对传统的1-v-1 SVM算法测试未知样本速度较慢的缺点提出了一种改进的1-v-1 SVM算法。该方法采用多轮投票策略减少测试过程中使用分类器的次数从而提高分类未知样本的速度。实验证明改进的算法是有效的。     

一种改进Haar-like特征的车辆识别算法

传统的Haar-like特征算法在特征提取过程中仅对图像全局进行特征提取,忽略了目标敏感区域,易受非目标区域的干扰,导致识别率降低.本文对传统的Haar-like特征提取算法进行了改进,将图像分成三个区域,运用的矩形框模板分别从这三个区域中提取像素值,将其中两个区域的像素值减去两倍的另外一个区域的像素值作为特征值.采用高斯随机测量矩阵对高维度的特征值进行压缩,运用Adaboost分类器训练方法,利用构造好的分类器对压缩后形成的特征空间进行分类识别.实验结果表明,本文的方法不仅减少了分类器所需的训练时间,而且识别性能也优于Haar-like特征、颜色纹理融合等传统算法.     

基于受限玻尔兹曼机的电能质量复合扰动识别

针对目前电能质量混合扰动识别精度不高的问题,引入了受限玻尔兹曼机(RBM)算法。RBM是深度学习的一种新颖算法,在语音识别、机器视觉和图像恢复等领域已取得了很好的应用成果,但在电能质量复合扰动识别上尚未涉及。区别于传统算法提取特征的方式,深度网络通过提取波形的固有抽象特征,克服了人工特征选择的缺陷以及传统神经网络训练时收敛速度慢、容易限于局部最优的缺点。复合扰动信号经过深度网络自动获得特征参数,再经过分类器进行分类识别。实验验证该算法在电能质量复合扰动识别上可以达到很高的性能,优于传统的识别方法。 更多还原     

改进随机森林算法在Android恶意软件检测中的应用

Random Forest作为一种常见的机器学习算法,不仅具备较高的分类回归性能,而且快速高效.传统的Random Forest算法并未在决策树的生成和选择上做深入研究,在本文中笔者提出一种降序去冗的寻优方式对机器学习中监督学习算法Random Forest进行改进,在保证准确率的同时减少随机森林的冗余度,并应用于Android系统的恶意软件检测.经过五折交叉验证法验证,改进的Random Forest算法能够在较低的冗余度下保证较高的准确率,同时改进的算法准确率在与同条件下的原算法的准确率以及OOB模型下的准确率相差在1%以内,在与单模型分类算法KNN和集成式学习算法Adaboost M1的对比试验中改进的Random Forest算法要优于以上两者.     

超声和磁共振成像在胎盘植入产前诊断应用的系统评价

为评价超声(Ultrasound, US)和磁共振成像(Magnetic Resonance Imaging, MRI)在胎盘植入(Placenta Accreta, PA)产前诊断上的应用价值, 就近年来US和MRI在PA产前诊断的研究进展进行了综述, 并展望了该领域未来的研究方向. 首先, 总结分析了PA在US成像和MRI中的表现, 且对两者的诊断性能进行了比较, 得出两者在诊断的准确性上无显著差异, US成像仍是主要的筛查工具, MRI作为辅助手段在识别PA的形貌和深度以及描述胎盘后壁方面具有较大优势; 然后, 提出了目前PA产前诊断所面临的挑战, 对新研究方向及发展趋势进行了展望, 分析了机器学习结合影像组学在PA产前诊断上的应用, 认为该应用具有重大意义, 可使诊断结果更加准确, 同时可为临床医生进行多学科管理和早期制定方案提供更有价值的参考.     

基于支持向量机及遗传算法的光刻热点检测

提出一种基于支持向量机（SVM）及遗传算法（GA）的集成电路版图光刻热点检测方法.首先对版图样本进行离散余弦变换（DCT）以提取样本的频域特征,然后基于这些样本训练SVM分类器以实现对光刻热点的检测.为了提高光刻热点检测的精度及效率,采用遗传算法（GA）对频域特征进行选择,并同时优化SVM参数.实验结果表明,基于SVM及版图频域特征并结合遗传算法进行优化的光刻热点检测方法可以有效提高版图光刻热点的检测精度.     

基于结合Transformer和卷积神经网络的生成对抗网络在磁共振成像中分割胎盘组织（英文）

磁共振成像(MRI)胎盘组织的准确分割对于研究妊娠和分娩并发症具有重要意义,但传统放射科医师的人工标注难以保证分割准确性和客观性,且费时费力.为了开发用于MRI中胎盘组织自动分割的深度学习模型,提出了结合Transformer和卷积神经网络(CNN)的生成对抗网络(TCGANet).将特征嵌入模块与跳跃连接相结合,缓解传统特征融合方法带来的信息丢失.在此基础上引入内容提取模块,采用Transformer的自注意力机制捕捉全局依赖关系,有效表示MRI的全局和局部信息.此外,鉴于传统分割方法难于精确界定MR影像胎盘组织边缘的问题,运用判别网络对胎盘组织分割的生成网络监督,以提高胎盘边缘界定的精度.结果表明,该模型在定量指标和边界定位精度方面显著优于现有分割方法,其中准确度为0.993±0.003,灵敏度为0.903±0.093,特异度为0.996±0.003,Dice相关性系数为0.861±0.141.对模型不同结构的消融实验验证了网络结构设计的合理性,大部分性能指标明显优于现有方法(P<0.05).该模型能够实现自动且准确地分割MRI中胎盘组织.     

基于RNN-CNN集成深度学习模型的PM2.5小时浓度预测

针对目前大部分PM_2.5预测模型预测效果不稳定、泛化能力不强的现状,以记忆能力较强的循环神经网络（RNN）和特征表达能力较强的卷积神经网络（CNN）为基础,采取Stacking集成策略对两者进行融合,提出了RNN-CNN集成深度学习预测模型。该模型不仅充分利用时间轴上的前后关联信息去预测未来的浓度,而且在不同层次上将自动提取的高维时序数据通用特征用于预测,以保证预测结果的稳定性。最后,对集成之前的RNN、CNN和集成之后的RNN-CNN模型,以2016年中国大陆地区1 466个监测站点的空气质量数据为样本进行实例验证,结果表明,RNN-CNN在PM_2.5时间序列预测上的表现明显优于集成之前的RNN和CNN,而且泛化误差更低,在34%站点上的拟合度超过0.97,该模型可用于大范围区域的PM_2.5小时浓度预测。     

模糊神经元PID在培养箱温控系统中的应用

针对传统PID控制算法难以实现对非线性、慢时变以及大惯性的婴儿培养箱温度控制系统的高精度控制问题, 设计了一种模糊神经元PID控制算法. 采用模糊算法在线调整神经元PID控制算法的比例系数、比例学习效率、积分学习效率和微分学习效率, 并结合机理分析和阶跃响应法构建婴儿培养箱温度控制系统数学模型, 运用MATLAB进行控制仿真. 实验表明, 该控制算法具有控制精度高、稳定性好以及响应速度快的特点.     

基于RNN-CNN集成深度学习模型的PM2.5小时浓度预测

针对目前大部分PM_2.5预测模型预测效果不稳定、泛化能力不强的现状,以记忆能力较强的循环神经网络（RNN）和特征表达能力较强的卷积神经网络（CNN）为基础,采取Stacking集成策略对两者进行融合,提出了RNN-CNN集成深度学习预测模型。该模型不仅充分利用时间轴上的前后关联信息去预测未来的浓度,而且在不同层次上将自动提取的高维时序数据通用特征用于预测,以保证预测结果的稳定性。最后,对集成之前的RNN、CNN和集成之后的RNN-CNN模型,以2016年中国大陆地区1 466个监测站点的空气质量数据为样本进行实例验证,结果表明,RNN-CNN在PM_2.5时间序列预测上的表现明显优于集成之前的RNN和CNN,而且泛化误差更低,在34%站点上的拟合度超过0.97,该模型可用于大范围区域的PM_2.5小时浓度预测。     

基于语义相似度与XGBoost算法的英语作文智能评价框架研究

作文智能评分和评语智能生成能极大减轻评阅专家的工作量、节约人力成本。目前,评分和评语结果的准确性与公平性尚不高。近年来,机器学习和自然语言处理等技术的快速发展,在一定程度上提升了文本分类、机器翻译等任务的性能,但仍有许多新的研究成果尚未应用于作文智能评价。本研究综合了词向量(word2vec)、段落向量(paragraph2vec)、词性向量(pos2vec)和LDA (latent dirichlet allocation)等特征,共同组合为作文的语义表示向量;采用基于kNN (k nearest neighbors)算法的语义相似度模型,得到作文的评语标签;采用基于XGBoost(extreme gradient boosting)的回归模型计算英语作文的评分值;并以900篇大学生英语作文为样本,构造算例进行验证。最后表明,提出的智能评价框架在英语作文自动评分和评语生成的准确性上,都要高于传统方法。     

基于支持向量机泛化误差界的多核学习方法

基于支持向量机（SVM）泛化误差界,提出了一种精确且有效的多核学习方法.首先,应用SVM泛化误差界推导多核学习优化形式,并给出求解其目标函数微分的计算公式.然后,设计高效的迭代算法来求解该优化问题.最后,分析了算法的时间复杂度,并基于Rademacher复杂度给出了算法的泛化误差界,该泛化界在基核个数很大时依然有效.在标准数据集上的实验表明,相对于一致组合方法以及当前流行的单核和多核学习方法,所提出的方法具有较高的准确率.     

一种基于Web的分类体系学习算法

领域分类结构的抽取已成为本体工程和本体学习的关键部分,提出一种新的分类结构学习算法,将Web作为知识获取的语料库,运用迭代方法抽取相关语言学模式,再利用语言学模式抽取分类结构,并采用改进的互信息方法对结果进行评价和过滤,最后通过实验对该分类学习算法的性能进行评价.实验表明：算法具有良好的跨领域性,在准确率和召回率方面也有改善.     

基于RBF核的SVM核参数优化算法

SVM是一种新型的机器学习方法,其分类性能的优劣主要受核函数及核参数的影响,国内外学者针对SVM核参数的选择已提出许多算法．本文首先分析TRBF核参数对SVM分类性能的影响,然后又对比分析了目前存在的几种基于RBF核的SVM核参数选择方法．通过实验,发现使用遗传算法选择核参数的SVM有比较快的搜索速度．