电力大数据智能化高效分析挖掘技术框架研究

针对电力行业中数据量不断增加,数据分析越来越困难的问题,设计了电力大数据智能化高效分析挖掘框架,从而快速得到有价值的信息.对电力大数据中心的整体框架进行分析,主要包括服务层、验证层、数据源层、特征分析层.另外,通过分析数据挖掘的流程发现业务中需要强化的业务,实现拓展.电力大数据智能化分析挖掘技术的框架设计主要包括电力市...     

新型基于大数据分析与挖掘的战略决策框架

随着信息化时代的发展,如何将大数据分析与挖掘应用到战略决策中,更好地解决全局性、 可持续发展性的重大军事决策问题,是当前军队及军工研究所面临的机会与挑战.战略决策对于军队及军工研究所至关重要,一个正确的决策能够提高军队及军工研究所的发展潜力和竞争力.然而,传统的战略决策模型,如波士顿矩阵和麦肯锡矩阵等,存在一定的局限性...     

基于Hadoop的大数据的处理与挖掘

在对Hadoop的大数据的研究挖掘和处理的基础上,设计了基于Hadoop的大量数据的处理方案,并运用HDFS分布式文件系统来有效保存其相关数据,同时还对索引文件的快速查找和定位进行了设计。通过使用Map/Reduce对数据进行高效的并行处理,快速地返回统计结果。     

基于云计算的大数据关联规律挖掘分析方法

近些年来,计算机技术与计算机网络处于突飞猛进的发展之中,特别是随着网络计算与云计算的进步,在网络中开始存储更多的数据分布,大数据工作的开展对于网络的应用日渐重要.通过大数据关联规律的挖掘,能够促使信息查询工作由低层次发展至高层次,并为决策的制定提供一定理论支撑.也正是因为此,探索云计算环境下大数据关联规律的挖掘方法就显...     

基于运营商大数据的APP潜在用户挖掘研究

跨界合作是运营商增加后向收入和提高用户黏性的重要途径,而实现降本增效的关键在于对目标用户的精准圈选。着重关注互联网APP的合作推广,提出基于上网日志数据构建潜在用户模型的方法,并对4种机器学习算法进行比较,发现LightGBM模型效果最好,且远优于业务规则模型。     

基于大数据的情报分析和挖掘技术分析

随着人工智能技术的发展与大数据环境的影响,信息动态性得到了进一步的加强。其巨大的体量、高度的复杂性以及更新速度快等特点,使得在相应类型信息中进行用户所需情报挖掘的难度,相比以往有了很大的降低。想要在现阶段的发展过程中取得先机,在大数据环境下取得优势,就需要针对原有的情报分析方式进行优化,以此来实现对信息情报的补充。因此,文章先介绍了大数据和大数据环境下的情报转变原因,接着从时空活动的角度分析,提出了一种基于大数据的情报分析和挖掘技术。然后,通过MapReduce构建了情报分解模型,并针对单一的任务数据实施预处理和数据挖掘,从而构建出基于大数据的情报分析和挖掘技术研究的新路径。最后,经仿真试验证明了该路径的可行性。     

基于大数据技术的电力数据质量评估数据框架研究

在大数据时代,大多数应用都是由数据驱动的。如果能提高数据质量,大数据应用的有效性和可靠性也能得到提高。在电力行业中,不断积累的电力数据越来越多,并在此基础上开发了许多电力应用。在我国,电力大数据在规模、结构、格式、评估要求等方面都具有一定的特殊性,传统的大数据评估框架无法直接应用。因此,本文提出了一个电力数据质量评估的大数据框架。该框架增加基于灰色理论的量化评价模块,并给出一般性的数据指标质量计算公式。本框架可以同时积累实时数据和历史数据,为电力大数据评估提供集成计算环境,支持不同类型数据的存储。本文研究结果为其他具有相似特征的大数据应用亦提供了一个有价值的框架。     

大数据平台安全防护研究

本文首先明确大数据平台的风险,提出大数据平台安全防护目的及防护体系,提供大数据基础设施、大数据接口、大数据存储、大数据计算处理和平台管理等方面的安全防护措施.     

安防大数据应用研究

描述了安防大数据的几个来源,论述了安防大数据实施中存在的难题,并据此提出了安防大数据实施的要点和步骤,最后重点分析了安防大数据的整体架构、与现有视频监控平台的关系以及基于GPU的安防大数据平台的系统架构.安防大数据实施时必须根据数据特点及算法成熟度分阶段进行.     

大数据时代数据安全治理的网络安全研究

在大数据时代背景下,现代信息技术为各行各业发展带来了新的契机与挑战,数据安全关系着信息系统稳定性和安全性。市场经济运转过程中,信息网络为人们提供多样化服务,国家与企业发展、个人生活都会产生很多数据信息,通过网络技术方式进行管理和保存。如数据安全存在问题,则可能会导致秘密信息泄露,给人们带来威胁。对大数据时代数据安全管理存在问题进行阐述,对网络安全治理策略进行研究,旨在提升数据安全性,保障信息系统安全稳定运行。     

大数据安全研究综述

随着人工智能、云计算、移动互联网和物联网等技术的融合发展,传统的基于边界安全域和基于已知特征库的网络安全防护方式已经无法有效应对大数据环境下新的安全威胁。通过对大数据环境下面临的安全问题和挑战进行分析,提出基于大数据分析和威胁情报共享为基础的大数据协同安全防护体系,将大数据安全技术框架、数据安全治理、安全测评和运维管理相结合,在数据分类分级和全生命周期安全的基础上,体系性的解决大数据不同层次的安全问题。基于该安全防护体系,分析了数据安全的关键技术及其目前的发展现状,并展望和分析了大数据安全领域面临的挑战。全面的分析和研究了大数据安全的威胁、政策、标准、方案、关键技术和挑战,对开展大数据安全建设和工程应用有重要参考意义。     

面向Hadoop架构的大数据安全研究

文中将从两个方面讨论大数据的安全：一是体系结构方面,将列出一些大数据系统在处理和存储信息时的差异,并讨论它们如何影响数据和数据库的安全性.二是运维管理方面,将详细介绍与大数据平台相关的运行安全问题,并分析大数据和管理系统所面临的挑战,尤其是当系统本身缺乏内在机制安全时.最终给出技术建议,勾勒大数据安全的战略战术,确保这些数据仓库的安全.     

大数据技术研究综述

大数据技术作为当前热门的技术领域,得到了广泛的关注和研究。文中对大数据的概念、特征、国内外发展情况进行了研究,对数据采集与感知、数据存储与处理、数据分析、数据可视化和大数据安全与隐私保护等方面的共性基础技术和前沿技术进行了分析,指出了这些技术的最新研究方向,总结了大数据技术面临的技术和政策方面的挑战,分析了其技术本质,对大数据的研究和工程应用具有指导意义。     

网络安全分析中的大数据技术应用

随着网络安全信息规模的增长,应用大数据技术进行网络安全分析成为业界研究热点.从网络安全分析的需求及传统技术的不足出发,分析了引入大数据分析的必要性,从安全数据存储、检索、分析等层面探讨了大数据技术在网络安全分析中的应用,在此基础上提出一个基于大数据的网络安全分析平台,并对典型攻击场景的关联分析方法进行了详细阐述.     

基于云计算的大数据挖掘平台

开发了一个基于云计算的并行分布式大数据挖掘平台——PDMiner.PDMiner实现了各种并行数据挖掘算法,如数据预处理、关联规则分析以及分类、聚类等算法.实验结果表明,并行分布式数据挖掘平台PDMiner中实现的并行算法,能够处理大规模数据集,达到太字节级;具有很好的加速比性能;实现的并行算法可以在商用机器构建的并行平台上稳定运行,整合了已有的计算资源,提高了计算资源的利用效率;可以有效地应用到实际海量数据挖掘中.在PDMiner中还开发了工作流子系统,提供友好统一的接口界面方便用户定义数据挖掘任务.     

基于大数据的安防体系建设研究和实践

随着大数据、人工智能和云计算等信息技术的发展,安全防护形势也越来越严峻,IT架构和服务模式不断发生变化,传统的安防体系面临着诸多问题.在继承传统的安全防护体系的基础上,提出了将大数据相关技术融入到安防体系中,并从数据接入层面、数据融合分析层面、数据服务层面出发,通过大数据等技术手段构建了安全数据中台,完善了安全防护技术...     

互联网运行系统的大数据安全监控系统设计

随着互联网技术的发展,网络安全事件发生的频率越来越高,造成的损失越来越大,外部网站等互联网运行系统成为网络攻击的重灾区。面对日益严峻的网络安全形势,传统的安全监控系统手段已无法应对日趋严重的网络攻击。因此,以某单位互联网运行系统的安全监控系统为例,阐述了大数据安全监控在该系统中的应用原理和相关应用,以期为大数据技术在网络安全中的应用提供实践参考。