大数据处理平台分析

分析大数据对数据库技术发展的影响,对比并行数据库和MapReduce的优劣,在此基础上指出适合大数据存储处理的三种数据库结合方案:并行数据库占主导地位、MapReduce占主导地位以及并行数据库与MapReduce集成。简述大数据处理关键技术,最后构建基于Hadoop的电信业务大数据处理平台,该平台通用性强,便于用户进行二次开发。     

基于实时大数据处理的交易欺诈侦测的研究

银行产业的迅猛发展,在带来海量银行卡交易的同时,也伴随着越来越多的交易欺诈。欺诈交易不仅给持卡人、商户等带来不可估量的损失,而且严重阻碍银行产业的发展,因此交易欺诈侦测技术就显得尤为重要。本文分析了交易欺诈的各种类型以及银行业规划反欺诈体系需要考虑的因素,提出了基于实时大数据处理技术的交易欺诈侦测方案,进而解决海量数据环境下的实时交易欺诈侦测问题。     

浅谈云计算背景下的大数据处理技术

信息化时代形势下,计算机已实现了普遍应用,所产生的数据量也随之大肆增长,而传统数据处理系统早已无法满足海量数据处理需求,由此便衍生了云计算。云计算可在多领域充分发挥大数据信息传输与提取等功能,还可实现数据处理与分析。这就需要进一步深入分析云计算背景下的大数据处理技术。     

基于大数据处理技术的智能变电站应用研究

根据智能变电站的国家规定和管理要求,结合大数据技术,文章提出以Hadoop平台为基础的数据存储、分析、挖掘一体化的智能变电站大数据处理系统的基本架构。基于以上分析,文章确定了与之相应的技术路线。     

用大数据武装”云”:基于云计算的大数据处理技术

随着互联网、移动互联网和物联网的发展,我们已经迎来了数据大爆炸的时代,数据的快速增长带来了数据存储、处理、分析的巨大压力,而大数据技术(Big data)的引入,不但满足了系统功能和性能的要求,带来良好的可扩展性,降低了IT部署的成本,还拓展了数据智能分析的应用领域。同时,大数据分析与云计算的发展密切相关,云计算是大数据处理的基础,而大数据技术是云计算的延伸,云计算的分布式存储和计算架构为大数据的快速处理和智能分析提供了一种合适的解决方案。本文将探讨建立在云计算基础上的大数据处理技术,包括分布式计算框架、分布式文件系统、大数据管理技术、实时流数据处理、机器学习以及可视化技术等。     

流计算大数据技术在运营商实时信令处理中的应用

基于Hadoop搭建的大数据平台采用离线批处理的方式,无法满足对数据实效性敏感的业务要求。针对运营商动态数据信息开放大数据平台的实时信令处理要求,对流式计算大数据组件进行了分析,介绍了与流计算大数据相关的实时采集、汇聚和处理组件,形成了端到端实时信令处理大数据技术解决方案,并提出了融合批处理和实时计算的大数据平台解决方案,提高了网络信令数据的时效性,为业务创新提供更大空间,带来更多利益。     

基于大数据处理技术的虚假主叫号码甄别探讨

分析当前电信网络中涉及异常号码出现的各种情况,探讨如何根据主叫号码与来话路由源的对应关系,基于云计算及大数据处理技术实现对虚假主叫号码的实时甄别,并提出相应的技术解决方案。     

医院信息化建设中大数据处理的应用研究

新世纪以来,随着科技的不断发展,人们的日常生活也在发生着翻天覆地的变化,在实际生活与学习当中,大数据技术被广泛的应用。医院是保障人们安全健康的重要场所,也顺应时代潮流,积极建设开展信息化平台,大数据技术科学合理的应用有效的促进了医院的服务质量。文章对目前大数据在医院信息化建设当中的应用现状进行了分析,并提出了相关建议,希望可以对有关单位起到借鉴的作用。     

Hadoop技术在广电大数据处理中的研究与应用

一前言 1．Hadoop简介 Hadoop作为大数据存储及计算领域的一颗明星,目前已得到越来越广泛的应用,许多世界知名企业如雅虎、Google、淘宝等,都在使用Hadoop进行大数据处理。     

Technical Report of Semantic-Based Big Data Storage Architecture and Key Technologies

This project supports the second research directionIntelligent Storage Architecture and Key Technologies for Big Dataof the affiliated projectAdvanced Storage Architecture and Key Technologies for Big Data.The research idea of this project can be summarized asBottom-up,Layered Building.Focusing tightly on the theme ofSemantic-Based Big     

面向Hadoop架构的大数据安全研究

文中将从两个方面讨论大数据的安全：一是体系结构方面,将列出一些大数据系统在处理和存储信息时的差异,并讨论它们如何影响数据和数据库的安全性.二是运维管理方面,将详细介绍与大数据平台相关的运行安全问题,并分析大数据和管理系统所面临的挑战,尤其是当系统本身缺乏内在机制安全时.最终给出技术建议,勾勒大数据安全的战略战术,确保这些数据仓库的安全.     

大数据促进我国产业转型升级

大数据在各行各业交叉编织,作为一种重要的生产要素,在全球经济中发挥着重要作用。通过汇集和分析大数据,模式识别和决策优化有助于降低生产成本,提高产品和服务质量。从农业、工业和服务业3个方面,简要阐述了大数据对传统产业结构的深刻影响。大数据产业正成为一个新的经济增长极,促进经济的转型升级。     

大数据时代的新媒体安全技术研究

大数据是新时代的一种重要生产资料,Web2．0技术催生的自媒体以及城市和社会智能化产生的媒体数据是新媒体大数据的主要来源,这部分数据正越来越多地影响我们的生活。研究如何安全地提供和消费这些数据,以及如何高效如实地从中挖掘安全信息,是营造健康、创新的新媒体生态环境的重要基石。     

一种面向大数据的图书馆系统架构研究

大数据时代的到来改变了传统的lT架构以及数据获取、存储、处理模式,为图书馆建设和发展带来新的机遇与挑战.构建面向大数据的新型系统架构已成为图书馆创新发展的必然趋势.本文结合大数据技术的最新进展,对图书馆现有架构存在的问题进行了较为深入的分析,并在此基础上提出了一种面向大数据的新型图书馆系统架构.     

基于异构混搭架构的大数据平台

广电运营商是天然的收视数据生产者 [1]与数据资产拥有者,广电运营商手中拥有着庞大数据.随着数字电视运营在业务挖掘方面不断深化,为提高服务质量和规划业务发展方向,广电运营商对数字电视用户收视行为进行调查和分析的需求越发迫切.收视率 [2]作为电视播放的关键性指标具有重要的作用和巨大的市场价值,在数字电视业务迅猛发展的冲击下,传统的收视率调查方法会受到制约,特别是用于模拟电视的仪器测量法更是会在数字电视中无用武之地.随着大数据技术的出现,提供了针对海量数据的高效精准分析的技术手段,通过对电视机顶盒数据的采集、解析、分析挖掘 [3],实现对用户收视率及收视行为的分析洞察,从宏观上,实现对数字电视业务进行全方位细致管控;从微观上,支撑对个体用户的行为的标签画像 [4],支撑公司对业务运营的全面掌控及针对用户提供个性化的营销及维系服务工作.     

数据仓库与大数据融合的探讨

针对传统企业对非结构化数据缺乏有效利用的问题,探讨了基于数据仓库与大数据融合的企业大数据解决方案.根据数据仓库建设理论和下一代企业级数据仓库架构,利用Hadoop技术进行非结构化数据的收集、处理及存储,通过与传统数据仓库和BI工具共同协作,解决企业大数据应用困难的问题.数据仓库与大数据技术的融合解决了传统企业数据处理的障碍,从而推动大数据项目的实施.     

大数据支持下智慧城市架构的研究

随着城市信息化与大数据技术的快速发展,智慧城市逐步成为全球未来城市的发展趋势。文章详细阐述了智慧城市的发展现状和国外智慧城市带来的国际经验,研究了建设智慧城市所需的关键技术。最后通过以上分析,设计了符合河北省实际情况的智慧城市架构,为大数据时代智慧城市的建设提供技术支持和理论指导。     

基于Hadoop架构的医疗大数据平台的应用

随着大数据技术在各行业中的应用和推广,建设医疗大数据平台成为加强医疗行业核心竞争力的重要手段。文中分析了医疗大数据特点、设计和研究了医疗大数据平台的应用实践,利用科学设置和布置集群、互联网和服务器等,最大程度地保证了医疗大数据平台环境的安全性和稳定性,希望能为相关工作人员提供一定的技术参考。     

未来网络大数据发展方向探讨

5G及泛在网络正在革新现代生活和工业发展,衍生的数据规模、维度及种类呈指数级扩张,数据成为驱动社会发展的生产要素.只有将网络与大数据深度融合,才能实现数据到知识、知识到决策、决策到行动的转化,推动社会的全面智能化.探讨了未来网络及数据的特征及趋势,构建了面向未来的大数据新生态架构,分析了未来大数据的发展方向、面临的挑战...