基于机器学习的恶意URL识别

网络攻击成为日益重要的安全问题,而多种网络攻击手段多以恶意URL为途径。基于黑名单的恶意URL识别方法存在查全率低、时效性差等问题,而基于机器学习的恶意URL识别方法仍在发展中。对多种机器学习模型特别是集成学习模型在恶意URL识别问题上的效果进行研究,结果表明,集成学习方法在召回率、准确率、正确率、F1值、AUC值等多项指标上整体优于传统机器学习模型,其中随机森林算法表现最优。可见,集成学习模型在恶意URL识别问题上具有应用价值。     

基于Stacking集成学习的恶意URL检测系统设计与实现

针对传统URL检测方法在恶意URL检测时存在的准确率不高、实时性差等问题,提出一种基于Stacking集成学习的算法模型。该模型采用机器学习单一方法中的岭分类、支持向量机、朴素贝叶斯作为初级学习器,采用逻辑回归作为次级学习器,通过初级学习器和次级学习器相结合的双层结构对URL进行检测。使用大量的URL数据集分别对单一方法中的模型和Stacking集成学习方法的模型进行训练,并对每种模型进行评估。评估结果表明,Stacking集成学习的算法模型对恶意URL检测的准确率可达98.75%,与其他模型相比提升0.75%以上。采用Flask作为开发框架,实现了恶意URL检测系统的功能,并对系统进行云端等部署,得到系统根据用户输入的URL链接可以输出URL的检测结果,具有较好的应用价值。     

基于知识图谱的恶意域名检测方法

人工智能在恶意域名检测领域的应用越来越广泛,而传统的恶意域名检测方法主要采用黑名单方式,存在时效性较差的问题。因此,提出了一种将知识图谱与恶意域名检测相结合的系统,完成了信息在知识图谱中的存储和表示。将系统的嵌入式模型作为输入,使用BiLSTM神经网络提取特征并完成最终的检测。实验表明,在通过真实数据构造的数据集上,该系统性能良好,对恶意域名的检测准确率高达99.31%。     

基于分类器的恶意网页检测系统的设计与实现

本文从URL的结构出发进行研究,可以减少处理网页正文的时间花费,并减少下载网页内容的危险性.利用KNN算法对这些提取的特征值进行大量测试,训练出一个可以分别良性网页和恶意网页的分类器,利用这个系统可以减小用户上网时所遇到的风险.     

基于深度自编码和决策树的恶意域名检测

针对目前恶意域名检测方法特征提取过程复杂和检测准确率不高的问题,提出一种基于深度自编码和决策树(Deep Auto Encoder and Decision Tree, DAE-DT)的恶意域名检测算法.该算法首先将每一域名按照域名词法组成与结构等属性进行特征映射,并进行正则化处理;然后将正则化处理后的无标签域名数据随机置0作为模型的输入,域名字符统计特征作为输出,构造深度自编码网络模型.并通过计算模型输出值与未处理数据之间的重构误差,实现各层参数与权值的优化,以增强模型的鲁棒性;最后依据提取的域名字符统计特征构造恶意域名判定的决策树.通过在Alexa和Malware domain list等标准数据集上进行测试.实验结果表明,该模型的检测准确率、精确率、假阴性率和假阳性率值分别为95.21%、94.17%、2.41%和3.63%.     

基于属性基加密的恶意域名训练异常数据检测

传统的恶意域名训练异常数据检测耗时过长,检测准确率较低,为此提出基于属性基加密的恶意域名训练异常数据检测。分析域名长度、域名访问周期、突发的域名系统请求查询以及域名查询失败记录四大行为,通过提取IP地址、域名的共享地址数目、域名查询返回的终极地址以及对抗网络四个特征,转换攻击的数据信息。设置数据加密器,根据访问权限所涉及的属性向可信中心申请公钥对文件加密,形成最终的密文。实验结果表明,所提方法能够有效缩短检测时间,提高检测准确率。     

基于CNN与LSTM相结合的恶意域名检测模型

为提高恶意域名检测准确率,该文提出一种基于卷积神经网络(CNN)与长短期记忆网络(LSTM)相结合的域名检测模型.该模型通过提取域名字符串中不同长度字符组合的序列特征进行恶意域名检测:首先,为避免N-Gram特征稀疏分布的问题,采用CNN提取域名字符串中字符组合特征并转化为维度固定的稠密向量;其次,为充分挖掘域名字符串上下文信息,采用LSTM提取字符组合前后关联的深层次序列特征,同时引入注意力机制为填充字符所处位置的输出特征分配较小权重,降低填充字符对特征提取的干扰,增强对长距离序列特征的提取能力;最后,将CNN提取局部特征与LSTM提取序列特征的优势相结合,获得不同长度字符组合的序列特征进行域名检测.实验表明:该模型较单一采用CNN或LSTM的模型具有更高的召回率和F1分数,尤其对matsnu和suppobox两类恶意域名的检测准确率较单一采用LSTM的模型提高了24.8％和3.77％.     

基于Wu-Manber算法的大规模URL模式串匹配算法

大规模高速URL匹配是许多网络安全系统中的关键技术,经典串匹配算法在大规模URL情况下有许多限制.针对URL数据的特点在经典多模式串匹配算法Wu-Manber基础上提出XWM-Tree算法和XWM-Hash算法.算法应用了模式串窗口选择,两阶段哈希和关联容器组织冲突链表等多种优化手段,大幅度提高了算法的匹配性能.在大规模真实数据集上的测试结果表明本文提出的算法匹配速度可以提高一倍以上,尤其是当最短模式串较长的时候更有优势.     

基于权限频繁模式挖掘算法的Android恶意应用检测方法

Android应用所申请的各个权限可以有效反映出应用程序的行为模式,而一个恶意行为的产生需要多个权限的配合,所以通过挖掘权限之间的关联性可以有效检测未知的恶意应用。以往研究者大多关注单一权限的统计特性,很少研究权限之间关联性的统计特性。因此,为有效检测Android平台未知的恶意应用,提出了一种基于权限频繁模式挖掘算法的Android恶意应用检测方法,设计了能够挖掘权限之间关联性的权限频繁模式挖掘算法—PApriori。基于该算法对49个恶意应用家族进行权限频繁模式发现,得到极大频繁权限项集,从而构造出权限关系特征库来检测未知的恶意应用。最后,通过实验验证了该方法的有效性和正确性,实验结果表明所提出的方法与其他相关工作对比效果更优。     

基于群卷积神经网络的恶意域名检验方法

针对恶意域名检测中存在的随机性大、现实样本少的缺陷,导致深度学习模型训练易出现过拟合的问题,提出了一种基于群卷积神经网络的恶意域名检测方法。首先将域名转换为嵌入词向量表示,然后通过随机维度组合生成随机数据集并构建卷积神经网络组,鉴于Inception结构优势将其加入到网络中,最后针对数据集易出现的类间样本失衡问题,引入了类间平衡系数以抑制模型训练过拟合,提高模型泛化能力。实验结果表明,在采集的域名检测数据集上,所构建的模型能够有效实现恶意域名检测;经过参数优化,相比于浅层模型组合分类器与典型深度神经网络模型LSTM-CNN,群卷积神经网络对所构建的域名检测集检测准确率分别提升了4%、1%,达到98.9%。     

轻量级的自学习网页分类方法

提出了一种自学习的轻量级网页分类方法SLW.SLW首次引入了访问关系的概念,使其具有反馈和自学习的特点.SLW从已有的恶意网页集合出发,自动发现可信度低的用户和对应的访问关系,从而进一步利用低可信度用户对其他网页的访问关系来发现未知的恶意网址集合.实验结果表明,在相同数据集上,相比于传统检测方法,SLW方法可以显著提高恶意网页检测效果,大幅降低平均检测时间.     

Fast-flucos:malicious domain name detection method for Fast-flux based on DNS traffic

There are three weaknesses in previous Fast-flux domain name detection method on the aspects of stability,targeting,and applicability to common real-world DNS traffic environment.For this,a method based on DNS traffic,called Fast-flucos was proposed.Firstly,the traffic anomaly filtering and association matching algorithms were used for improving detection stability.Secondly,the features,quantified geographical width,country list,and time list,were applied for better targeting Fast-flux domains.Lastly,the feature extraction were finished by the more suitable samples for trying to adapt to common real-world DNS traffic.Several machine learning algorithms including deep learning are tried for determining the best classifier and feature combination.The experimental result based on real-world DNS traffic shows that Fast-flucos’ recall rate is 0.998 6,precision is 0.976 7,and ROC_AUC is 0.992 9,which are all better than the current main stream approaches,such as EXPOSURE,GRADE and AAGD.     

基于iOS系统的恶意行为检测研究

首先列举了多个iOS平台的恶意应用的案例,通过剖析作案手法以及造成的恶劣影响,分析了iOS平台下移动应用的主要恶意行为特征,研究了恶意行为检测过程中的各项关键技术,提出了iOS应用恶意行为检测的模型.最后,给出了iOS应用恶意行为检测的解决方案.     

HTTP malicious traffic detection method based on hybrid structure deep neural network

In response to the HTTP malicious traffic detection problem,a preprocessing method based on cutting mechanism and statistical association was proposed to perform statistical information correlation as well as normalization processing of traffic.Then,a hybrid neural network was proposed based on the combination of raw data and empirical feature engineering.It combined convolutional neural network (CNN) and multilayer perceptron (MLP) to process text and statistical information.The effect of the model was significantly improved compared with traditional machine learning algorithms (e.g.,SVM).The F₁value reached 99.38% and had a lower time complexity.At the same time,a data set consisting of more than 450 000 malicious traffic and more than 20 million non-malicious traffic was created.In addition,prototype system based on model was designed with detection precision of 98.1%~99.99% and recall rate of 97.2%~99.5%.The application is excellent in real network environment.     

支持数据隐私保护的恶意加密流量检测确认方法

为解决基于机器学习的恶意加密流量检测易产生大量误报的问题,利用安全两方计算,在不泄露具体数据内容的前提下实现网络流量内容和入侵检测特征间的字符段比对.基于字符段比对结果,设计入侵检测特征匹配方法,完成关键词的精准匹配.为保证所提方法的有效执行,提出用户终端输入随机验证策略,使恶意用户终端难以使用任意数据参与安全两方计算...     

一种基于衍射图样的相位检测手段研究

基于双半圆孔衍射的基本原理,通过对其两部分分别施加不同的相位,利用衍射图样,进行了相位信息提取研究.在仿真的基础上,将实验所得结果与其进行了对比,二者得到很好的吻合.结果表明,该方法可有效提取出相位信息,从而为分立表面的大型光学镜面各单元的精确定相提供了一种简单有效的方法.     

Multitier ensemble classifiers for malicious network traffic detection

A malicious network traffic detection method based on multi-level distributed ensemble classifier was proposed for the problem that the attack model was not trained accurately due to the lack of some samples of attack steps for detecting attack in the current network big data environment,as well as the deficiency of the existing ensemble classifier in the construction of multilevel classifier.The dataset was first preprocessed and aggregated into different clusters,then noise processing on each cluster was performed,and then a multi-level distributed ensemble classifier,MLDE,was built to detect network malicious traffic.In the MLDE ensemble framework the base classifier was used at the bottom,while the non-bottom different ensemble classifiers were used.The framework was simple to be built.In the framework,big data sets were concurrently processed,and the size of ensemble classifier was adjusted according to the size of data sets.The experimental results show that the AUC value can reach 0.999 when MLDE base users random forest was used in the first layer,bagging was used in the second layer and AdaBoost classifier was used in the third layer.     

无线传感网中基于DPAM-MD算法的恶意节点识别研究

随着无线传感器网络的不断发展,恶意节点对其安全造成了极大的威胁。传统的基于信誉阈值的模型无法准确的识别亚攻击性等恶意节点,而且会出现低识别率和高误判率等问题。为了解决这些问题,引入了基于DPAM-MD算法的新型恶意节点识别方法,在传统信誉阈值判断模型的基础上,通过结合曼哈顿度量和DPAM算法识别出亚攻击性节点。算法中提出一种新型的基于密度的聚类算法,并结合簇间和簇内距离均衡化的目标函数,将所有的节点进行分类。该算法可以提高聚类质量,有效缩短聚类时间,提高了恶意节点识别的效率。经仿真实验结果验证,改进后的算法对识别特征不明显的恶意节点效果十分显著。