基于云环境K-means聚类的并行算法

K-means聚类算法只能保证算法收敛到局部最优,从而导致聚类结果对初始点的选择非常依赖,同时在面对海量数据时容易因运算次数增多而使聚类过程耗时增加.针对上述问题及结合海量数据的特性,本文提出了一种基于云环境的并行聚类算法,该算法利用Canopy聚类算法思想并结合二分查找思想对K-means算法进行优化,同时采用"极限点"原则使之避免了聚类过程中的局部最优,然后利用顺序组合式MapReduce编程模型实现了算法的并行化扩展.实验结果表明:在大数据集上,该算法比同样部署在Hadoop集群上运行的K-means算法,在加速比、准确率、扩展率、算法效率方面具有较大的优势.     

局部形状特征概率混合的半自动三维点云分类

三维激光扫描获取的点云数据可用于数字城市建设、三维模型获取、场景分析与物体测量等领域.但因遮挡和噪声的影响,加之扫描场景复杂,采样精度受限,使得不能直接运用经典的曲面和三维空间理论对点云数据进行有效分析和处理.分类是点云数据预处理的重要方式之一.提取近邻四面体体积、近邻法向量差异度、主方向差异度和主曲率值4个局部形状特征,采用概率混合策略构建了一种点云数据的半自动分类方法,可实现平面点集、柱面点集和其他点集的有效区分.其中,概率混合策略是依据近邻点平均距离和单指标类别一致程度估计每个特征推断形状的概率,通过混合加权,依据概率赋权函数最大值准则进行局部形状推断.可实现用户交互,以便处理不同扫描尺度和精度的点云数据.采用本文方法对模拟生成的点云、单棵树木点云、街道场景点云、旷野自然场景扫描点云以及航空机载扫描点云等多组数据进行了实验,结果表明,基于局部形状特征的概率混合方法对各种点云数据均具有良好的分类效果.     

基于One Class-SVM+Autoencoder模型的车辆碰撞检测

为尽量避免车辆碰撞事故的发生,探索了机器学习和深度学习结合的方法,利用影响车辆碰撞的多个特征变量对车辆碰撞进行检测.首先使用皮尔逊相关性分析方法分析各个特征之间的关联度,接着使用One Class-SVM模型对数据集做"异常点"抛除操作.利用SMOTE(Synthetic Minority Over-sampling Technique)算法增加了少数类别的样本数量,最后采用自动编码器模型将影响车辆碰撞的因素(例如天气情况、光照情况等)作为模型的输入,通过解码器重构原始输入,获得输入与输出的最小重构误差计算阈值判断车辆碰撞情况.实验表明,数据经过One Class-SVM模型处理,再使用Autoencoder模型检测获得了比较好的测试结果.     

基于MapReduce和双层倒排网格索引的kNN算法

随着卫星定位技术和移动互联网技术的飞速发展,地理空间数据来源变得更加多源异构.面对海量地理空间数据,如何快速有效地找到目标周围的兴趣点变得异常重要.依据空间k近邻(kNN)查询算法,提高效率的关键在数据索引和数据块存储结构设计,通过引入云计算的MapReduce编程模型,设计了一种面向MapReduce的地理空间数据双层倒排网格索引,利用CircularTrip算法实现了目标点近邻查询计算,最终获得距离目标点最邻近的数据点集.实验结果表明,该索引方法较单层倒排网格索引下的kNN查询效率有明显提高,且数据量越大效率提升越明显,此法适合大规模并行计算.      

基于本体的道路标牌自动审核

随着城市规模的不断扩大,道路标牌的有效管理是智能交通中的一个关键问题.本文在基于本体有机整合海量、多源、异构语义数据的基础上,研究基于国家路标设置规范的路标牌位置和内容有效性自动审核,是对语义技术在智能交通应用中的有益探索.首先,对地缘信息中的道路、兴趣点及路标建立统一模型,采用本体技术把海量数据在语义层面上关联起来.其次,对国家路标设置规范中的规则进行分类,对每一类规则分别构造规则模板及为其构造带参数的SPARQL查询,从而将路标设置指南进行规范形式化表示,在此基础上实现对路标牌的自动检测.最后,在构建的实验数据集上进行了实验,实验结果证明,提出的方法路牌检测准正确率达到85.1%,召回率达到92.1%.     

基于生成对抗网络的图像艺术风格迁移

提出了一种新颖的图像艺术风格化算法,利用结构相似性指数和最小二乘生成对抗网络,搭建图像艺术风格化模型.通过对模型生成器和判别器的对抗训练以及重建约束,该模型可以生成一幅逼真的风格化作品.根据在人脸肖像素描sketch-photo数据集和中国水墨画风格beihong-photo数据集实验表明,与目前流行的DualGAN算法、Cycle GAN算法、Pix2Pix算法和GAN算法相比,本文提出的方法具有更好的风格化效果.     

大数据环境下基于信息论的入侵检测数据归一化方法

在大数据时代,入侵检测作为网络安全的一种重要技术手段被广泛采用.网络入侵检测数据不同的特征属性具有不同的量纲和量纲单位,为了消除特征属性之间的量纲影响,一般在进行数据分析之前采用归一化处理.当前网络入侵检测数据的归一化处理大多只考虑特征属性取值本身的分布情况,没有客观地评估它对类别信息或其他特征属性的影响.针对这个问题,提出了一种基于信息论的网络入侵检测数据归一化方法.对连续特征属性,它以联合信息增益作为区间的分割评估方法,以区间的类别占比作为标准依据进行归一化处理;对离散特征属性,它根据类别条件熵的占比进行了归一化处理.利用NSL-KDD数据集仿真实验,结果表明,该方法不仅能够提高学习算法的收敛性,而且归一化的结果有助于提高分类模型的检测率和降低分类模型的误报率.     

基于YOLOv3的正下无人机视角挖掘机实时检测方法

针对无人机巡检的智能化要求, 提出一种应对高空巡检场景下的实时挖掘机检测模型. 该模型以YOLOv3为基础, 将骨干网络精简至43层, 通过特征融合策略使检测任务在两个尺度上进行. 此外模型还借鉴了focal loss的思想设计损失函数. 文中实验对象为正下无人机视角的挖掘机目标. 在完成了数据集的搭建工作后, 根据正下无人机视角的目标特性进行训练, 使模型达到最优解. 最终经实验验证, 在相同输入尺寸的情况下, 本文所提出的检测模型比YOLOv3准确率更高、鲁棒性更好, 且帧数可提升10帧●s^-1.     

基于图正则化概念分解的网络入侵检测研究

作为一种有效的主动探测网络恶意攻击防护措施,入侵检测在变电站信息系统安全防护中得到了广泛的应用.但实际网络入侵数据类型的多样性、非负性和高维度性等特点使得现有方法存在检测率低、误报率高等不足.基于非负矩阵分解的方法在入侵检测上取得了较好的效果,却忽略了嵌入在数据局部的几何结构和标记信息.为此,本文提出一种基于图正则化约束的概念分解算法.通过将数据的几何结构和标记信息同时作为约束条件,建立了一种新的概念分解模型,并提出了迭代更新求解算法.通过在网络入侵数据集KDD99上的实验验证,其结果展示了所提算法的有效性和鲁棒性.     

基于多元特征的微博被劫持账户检测

微博作为一个拥有大量用户的社交平台,其较大的影响力与开放性吸引了攻击者的目光。攻击者会利用异常账户进行网络犯罪,对异常账户的检测是维护社交网络安全的重要途径之一。基于攻击者的常规行为以及正常用户的行为特征,提出了一种微博中被劫持账户的检测方法。该方法使用6个特征对用户行为进行分析,使用异常得分刻画用户行为的异常程度,使用传统机器学习分类器检测被劫持账户。为验证本文方法的有效性,采用了由复旦大学提供的公开微博数据集进行实验,结果表明,采用决策树分类器时,本文方法对被劫持账户的检测精确率高达97. 5%。