基于Hadoop的大数据信息安全监控云平台设计与研究

针对传统的大数据信息监控云平台模式单一、虚拟化程度不高,容易导致信息泄露的问题,为了提高对大数据的信息安全溯源能力,提出基于Hadoop的大数据信息安全监控云平台设计方法。在信息资源云体系下构建大数据信息安全融合模型,通过信息挖掘与匹配方法把云平台中的数据资源、物理资源进行关联性整合,方便数据安全溯源,在Hadoop平台下构建多源信息资源云,建立用户接口注册机制,采用虚拟化技术进行信息保护,实现在云平台下进行信息安全溯源。实验结果表明,采用该方法进行大数据信息安全溯源,大数据信息分类存储性能较好,对异常数据挖掘精度较高。具有较好的信息安全保护能力,确保了信息安全。     

云计算Hadoop平台的异常数据检测算法研究

近年来,随着我国互联网技术的飞速发展与大规模网络运算平台研究的深入,云平台下的数据处理已成为大规模数据的主要处理方式。但是,现有的云计算Hadoop平台在海量数据异常涌入状态下,常常出现数据逻辑错误、数据链完整性缺失、数据失效的问题,造成无法对上述异常数据进行有效检测处理,严重影响云计算Hadoop平台的数据运算准确性。针对上述问题,提出云计算Hadoop平台的异常数据检测算法研究方法。采用JNS数据采集筛查模组、算法逻辑补偿模组与动态反馈模组对现有的云端计算平台存在的问题进行针对性解决。通过仿真模拟实验证明,提出的云计算Hadoop平台的异常数据检测算法研究方法,具有异常数据识别率高,准确性高,速度快、可实施性强、稳定性好的特点。     

基于Hadoop平台的地铁NCC数据中心方案研究

线网指挥中心是地铁管理控制中的承上启下的重要环节,接入线网各线路的控制中心,实时的监测线网整体的运营状况。并通过与上级政府交通管理部门系统的对接,将相关数据提交至交通管理系统,配合交通管理部门的工作。数据中心是线网指挥中心的核心环节,存储线网所有线路的生产数据和业务数据。目前线网指挥中心的数据中心都是基于传统的数据仓库的架构来创建的,而随着线路的不断增多,数据的种类和数量都在不断增加,传统数仓暴露出成本高,扩容难,维护困难的缺点。本方案提出的基于Hadoop大数据平台的数据中心建设方案,极大了降低了使用和维护成本,Hadoop生态圈包含了各类的组件模块,能够解决建设和使用中遇到的各类问题,提高了数据中心的性能。     

基于Hadoop社交网络分析平台的设计与实现

随着社交网络的快速发展,海量社交网络的数据挖掘成为一个重要课题。针对海量数据的社交网络分析方法进行研究,以Hadoop的分布式文件系统和Map/Reduce并行方法设计基于Hadoop的分布式数据挖掘框架,在此基础上,通过Map/Reduce的并行方法,将传统数据挖掘算法并行化,以谱聚类的并行为例,阐述转化的过程并对在大数据条件下所面临的内存不足的问题给出相应的算法优化。最后对3个不同量级的数据集进行实验,验证基于Hadoop的社交网络分析平台的框架的合理性和算法并行化的有效性。     

网络入侵检测系统警报过滤算法设计

网络入侵检测系统OqIDS）大量的警报数据使得安全管理员在进行安全评估时，需要花费大量的精力，分析效率极低。NIDS之所以会有这样大量的警报数据主要是由于误报、重报或信息冗余度太大造成的。很多误报是可以找到原因或规律的，可以设计一种过滤算法将有规律的误报过滤掉，从而减少误报。在IBM苏黎世研究实验室相关研究工作的基础上，设计出了一种基于规则的警报过滤模型和算法。其模型见图1。     

基于Hadoop二阶段并行模糊c-Means数据聚类算法

为了解决Mapreduce机制下算法通信时间占用比过高实际应用价值受限的情况,提出基于Hadoop二阶段并行c-Means聚类算法用来解决超大数据的分类问题。首先,改进Mapreduce机制下的MPI通讯管理方法,采用成员管理协议方式实现成员管理与Mapreduce降低操作的同步化。其次,实行典型个体组降低操作代替全局个体降低操作,并定义二阶段缓冲算法,通过第一阶段的缓冲进一步降低第二阶段Mapreduce操作的数据量,尽可能降低大数据带来的对算法负面影响。最后,利用人造大数据测试集进行仿真实验表明此算法既能保证聚类精度要求又可有效加快算法运行效率。     

基于改进的协同过滤相似性度量算法研究

随着工程测量和工业控制的发展,在多样的工程测量环境和工业控制环境中选择合适的测量和控制理论、方法和技术也将成为难题,推荐技术的引入可以提升工程测量的的自动化程度和工业控制的实时性。但是推荐系统中经典的相似性度量方法在数据稀疏的情况下处理能力较弱,影响了推荐的准确性。针对这一问题,将杰卡徳相似系数加以修正,并利用杰卡德相似系数能够衡量两个集合的相似度的特点,将修正后的杰卡德相似系数作为权重系数,对经典的相似性度量方法加以修正,得到新的相似性度量方法。选取5个测评指标,分别在基于用户和基于项目的协同过滤推荐算法中,对经典的相似性度量方法和改进的相似性度量方法进行测试。对比实验表明,改进的相似性度量方法表现优于传统的相似性度量方法,提升比例约为20%。     

云平台下智慧农业传感网络的设计与实现

近年来,随着互联网平台的迅速发展,农业传感网络能促进农业向网络型转化;针对传统农业存在的资源交互性差、有效农业数据普及范围小、农业网络信息更新速度慢等问题,提出云平台下智慧农业传感网络的设计与实现;利用大数据环境搭建专项数据云平台,储存汇集优良农业网络数据资源;采用云采资源换算算法,对云端平台内的数据进行快速调取,进行双位动态影像空间设计;智能交互窗口模块分为资源检索、资源导航、农资互动、专家指导4个板块,智能交互窗口模块采用高速视频无损压制算法,能够保证传输流畅,同时采用片源压制减小片源体积;通过仿真实验测试证明,提出的云平台下智慧农业传感网络的设计各项数据优异,满足现代农业发展应用要求,为现代化网络型智慧农业的生产应用领域提供新的思路。     

基于Hadoop的GA-BP网络在山洪预测中的研究

研究了山洪灾害监测预警系统中雨情数据的分布式存储和分布式预测。针对采集到的水文数据急剧增长和对预测精度和预报时效的要求不断提高,分别应用Hadoop分布式文件系统对数据进行分布式存储和 MapReduce框架结合遗传算法优化神经网络的权值和阈值进行分布式预测。采用基于BP神经网络的多因子山洪灾害雨量预测模型,结合遗传算法能够实现全局优化特点来优化神经网络的权值和阈值,并在数据并行处理过程中,采用了批处理和MapReduce工作流的方式,以误差和准确率来评估预测模型,解决了神经网络在处理海量数据时训练时间长等问题。实验表明,该方法可以在不影响准确度的前提下,大大缩短运行时间,提高预测效率。     

基于Hadoop的快速并行视频处理方法

目前,基于 Hadoop视频处理的传统方法都是通过MapReduce从本地文件系统读取数据,利用帧字节流进行MapReduce间数据传输,这会产生大量的系统 IO,造成系统资源浪费。针对此问题,提出一种基于Hadoop平台的视频处理方法,实现Hadoop支持的视频类型扩展,设计了MapReduce 相关视频数据处理接口,使 Hadoop 可以更快速处理视频文件。通过在多台计算机组成的集群实验表明,该方法在运行时间上比传统方法缩短10%,IO读写量减少50%以上,提升了Hadoop视频文件的处理效率。     

MIGAN: Mutual-Interaction Graph Attention Network for Collaborative Filtering

Many web platforms now include recommender systems. Network representation learning has been a successful approach for building these efficient recommender systems. However, learning the mutual influence of nodes in the network is challenging. Indeed, it carries collaborative signals accounting for complex user-item interactions on user decisions. For this purpose, in this paper, we develop a Mutual Interaction Graph Attention Network “MIGAN”, a new algorithm based on self-supervised representation learning on a large-scale bipartite graph (BGNN). Experimental investigation with real-world data demonstrates that MIGAN compares favorably with the baselines in terms of prediction accuracy and recommendation efficiency.     

基于Laplacian算子的同态滤波算法研究

针对频域同态滤波中运算量大、运算时间长、不能满足实时性要求的缺点,提出了一种基于Laplacian增强算子的空域同态滤波算法。首先对原有的Laplacian增强算子做改进,使其在增强图像高频成分的同时能够适当地抑制其低频成分,再将改进后的Laplacian增强算子同图像函数作卷积,快速实现空域内的滤波增强。实验表明,该方法不仅有效地压缩了图像的亮度范围,增强了图像的对比度,还大大提高了运算速度,节省了运算时间,适用于对快速性要求较高的实时性场合。     

民机运行大数据分析平台整体架构研究

针对日益增长的民用航空巨量数据,借助大数据存储和分析技术,构建民用航空运行大数据分析平台,可更有效支撑快速响应、航材管理、健康管理等各项民机运行业务。结合目前国内外民用航空领域大数据技术的应用现状,梳理民机运行的业务模式及数据类别,设计并构建民用航空大数据分析平台的整体架构。根据目前民用航空运行业务需求,对民用航空大数据平台的硬件平台的管理节点、数据节点的计算能力等功能性能进行设计,并对民用航空大数据平台的轻量级计算、离线数据计算、实时在线数据处理分析等计算需求进行研究,针对不同的计算方式,提供具体解决途径。最后对民机运行大数据分析平台的业务应用集成及接口技术进行研究。分析表明研究成果有助于提高我国民机运行效率,为民用飞机运行大数据平台提供支撑。     

基于Kalman滤波算法的陀螺仪动态漂移补偿研究

应用MEMS陀螺仪测量人体手臂运动姿态时,针对陀螺仪受线加速度干扰导致测量姿态发散的问题,提出基于Kalman滤波算法的姿态误差补偿方法;该方法首先将陀螺仪采集到的角速度通过方向余弦算法解算得到姿态角,并将陀螺仪动态漂移造成的姿态角误差视为时变信号,通过建立姿态角漂移误差的状态方程及观测方程,应用卡尔曼滤波算法,实现对姿态角漂移误差的估计,最终达到对陀螺仪动态漂移误差的补偿;实验与仿真结果表明,应用该算法能够有效的抑制线加速度干扰导致的陀螺仪测量的姿态发散,适用于陀螺仪对人体手臂运动姿态的测量。     

一种改进的自适应中值滤波算法

针对椒盐噪声的特点,提出了一种改进的自适应中值滤波算法。该算法通过对小窗口内非噪声点的检测来决定是增大滤波窗口还是选择输出。新算法尽可能地减小了滤波窗口,使得图像细节得到更好的保持。数值试验结果表明,新算法能够在有效抑制噪声的同时更好地保持图像细节信息,尤其在高概率密度噪声条件（〉70%）下也能取得较好的结果,比传统自...     

基于双边滤波和双树复小波的图像去噪算法

提出了基于空域双边滤波和双树复小波变换的图像去噪算法.该算法使用双树复小波变换对含噪图像进行多尺度和多方向的分解,对各个高频方向子带使用带有方向窗的局部维纳滤波算法进行去噪.在重构过程中,对每一个尺度上重构得到的低通图像使用空域的双边滤波算法进一步的去除噪声.实验结果表明本文提出的图像去噪算法获得了明显的去噪性能改善.     

基于粒子滤波的INS／GPS组合导航滤波算法

针对INS／GPS组合导航系统中噪声统计特性不准确时,现有的卡尔曼滤波工作性能会降低的问题,提出了一种基于粒子滤波的INS／GPS组合导航滤波算法。仿真结果表明该算法能有效降低统计特性不准确对系统造成的不利影响。     

基于梯度型最小二乘滤波的船摇隔离度测试研究

针对传统船摇隔离度测试方法效率低、误差大、操作复杂、且不能有效解决扰动跳变的不足,对船摇隔离的基本原理进行了分析,建立了梯度型最小二乘滤波模型,提出了基于梯度型最小二乘滤波和VC++语言编程实现船摇隔离度的自动测试方法,并利用跟踪实测数据进行了仿真实验。对比传统方法测试结果表明,该方法能有效滤除测量数据中的随机误差,较大程度地降低了扰动跳变的抖动量,提高了伺服系统船摇隔离度的测试精度。