基于Hadoop的信令详单实时查询平台构建方法

随着电信行业4G通信网络技术的普及,移动端互联网应用正蓬勃发展,随之带来的数据流量呈爆炸式增长,传统的处理方法难以支撑海量信令数据的实时查询需求,为此,提出了一种基于Hadoop的大数据实时查询平台,以支撑超大规模的信令详单的处理.通过数据采集、数据建模、rowkey设计、数据入库、二级索引、数据压缩与存储等实现方法,提供了实时数据查询服务.最后,在现网实验环境进行了验证,能够取得非常好的收益.     

基于自定义的LIRe和HBase的海量医学图像检索

为了解决海量医学图像检索效率低的问题,提出一种自定义的LIRe和HBase相结合的方案.首先,将医学图像上传到HDFS;然后,通过自定义LIRe框架分别提取海量医学图像的形状以及纹理特征并将特征向量及图像的绝对路径存储到HBase中.最后,利用MapReduce模型以及图像特征索引工具LIRe方便地对医学图像特征建立索引进行特征匹配实现检索.实验结果证明,自定义的LIRe提高了检索准确性,相比将医学图像以及特征向量均存储在HDFS中,也提高了检索效率.     

基于Hadoop云计算平台的海量文本处理研究

针对海量文本数据处理,为实现快速文本处理响应,缩短海量数据为辅助决策提供服务的时间,基于Hadoop云计算平台,建立HDFS分布式文件系统存储海量文本数据集,通过文本词频利用MapReduce原理建立分布式索引,以分布式数据库HBase存储关键词索引,并提供实时检索,实现对海量文本数据的分布式并行处理。实验结果表明,Hadoop框架为大规模数据的分布式并行处理提供了很好的解决方案。     

基于HBase与静态多级格网索引的地表覆盖数据高效检索方法

地表覆盖是地理国情监测的重要对象,为地理国情分析评价模型提供了可靠的数据源.高效的地表覆盖数据检索方法是挖掘地表覆盖数据潜在价值的前提.由于地表覆盖数据体量庞大、更新频繁,要素分布密集且不均匀,传统的空间检索方法出现了扩展困难、检索能力不足等问题.提出了一种基于HBase与静态多级格网索引的地表覆盖数据空间检索方法,针对地表覆盖数据特征设计了基于HBase的静态多级格网索引,利用MapReduce实现索引并行构建,通过多级过滤的方式,提高了地表覆盖空间范围的查询效率.实验表明,该方法能快速完成大规模、密集分布的地表覆盖数据的空间索引构建,提升空间检索性能,并具有良好的扩展性,可为其他海量空间矢量数据的检索提供借鉴.     

面向基于HBASE云详单系统的界面化管理工具的设计与实现

为解决传统的详单查询系统存在的问题,广西移动进行了基于Hadoop+HBase架构的云详单系统建设,云详单有效地改善了用户详单业务体验,但由于HBase不支持SQL语句且缺乏界面化管理工具,数据的访问只能通过JAVA、SHELL等编程语言后台访问,这无法满足日常运维管理要求。为提高日常运维效率,本文设计并实现了基于HBASE云详单系统的界面化管理工具,使运维人员像操作传统关系型数据库一样实现对HBase数据库的操作。     

基于CSS模板的职位信息并行抽取系统设计

针对现有职位信息抽取方法由于缺乏自适应性和并行性,存在冗余度高和抽取效率低的问题,提出了基于CSS模板的方式并行职位信息抽取方法。该方法根据职位信息页面特点使用CSS路径抽取方法,并制定抽取模板解决抽取的准确性和自适应性,使用了MapReduce编程模型实现职位信息的并行化抽取。使用MD5算法计算已抽取得到的职位信息的MD5值,结合MapReduce并行计算编程模型的特性实现职位信息去重,最终将去重后的职位信息存储在分布式数据库HBase。实验测试结果表明,并行计算与传统的非并行编程模型相比在处理的时间效率和采集的职位信息量上都有明显的提高。     

云计算技术在输电线路状态监测系统中的应用

在分析输电线路状态监测系统特点的基础上,提出了在系统中引入云计算存储与并行处理技术的设计方案,将关系型数据库与开源的Hadoop云计算平台结合使用,解决了关系型数据库在系统使用中存储和访问效率等方面的问题.介绍了所开发的原型系统提供的服务及其主要功能,并针对系统中的典型应用进行了性能测试.测试结果表明所提方案可以满足输电线路状态监测系统对数据存储与读取、分析的性能要求.     

SQL Server数据库到HBase数据库的模式转换和数据迁移研究

大数据背景下,SQL Server关系型数据库的存储容量暴涨,如何高效实现把SQL Server数据库中的数据迁移到HBase分布式数据库,是亟需解决的一个关键问题。讨论研究了2种数据库之间的差异之后,首先提出了数据库模式之间的转换,把SQL Server数据表的模式,按照不丢失关系的原则,转换成HBase下的表模式;然后根据不同的表间关系的数据迁移的规则,实现SQL Server数据库中的数据迁移到HBase数据库。因为表间转换关系和数据迁移规则的预定义,实现了一键完成数据的迁移。     

基于HBase数据分类的压缩策略选择方法

为解决现有的HBase数据压缩策略选择方法未考虑数据的冷热性,以及在选择过程中存在片面性和不可靠性的缺陷,提出了基于HBase数据分类的压缩策略选择方法。依据数据文件的访问频度将HBase数据划分为冷热数据,并限定具体的访问级别;在此基础上增加评估层,综合考虑基于相邻区和统计列的选择方法,提出基于数据访问级别的压缩策略选择方法。仿真实验及结果表明,提出的压缩策略选择方法不仅节省了存储空间,还大大提高了数据查询的性能。     

基于Hadoop的专利翻译系统

为了解决大量专利数据的存储和翻译问题,设计了一种基于Hadoop的专利翻译系统。针对数据存储该系统采用了HDFS和HBase相结合的混合式存储结构,对于翻译过程则采用Hadoop并行翻译模型-MapReduce。通过实验证明,相比于传统的翻译方法该系统具有更好的数据存储和翻译性能。