“格网索引+MapReduce”策略下的地理国情统计分析研究

地理国情统计分析是深度研究地理国情普查数据的首要前提.针对现有单机集中式数据存储与处理方式存在耗时长、效率低甚至不支持的问题,设计了"格网索引+MapReduce"策略,基于规则格网设计普查数据文件的分块组织与分布式存储方式,研制了格网索引与空间分析相结合的双层过滤机制,构建基于MapReduce的地理国情并行统计算法.最后,与无索引MapReduce、ArcGIS平台进行性能对比测试,结果表明:"格网索引+MapReduce"方法的统计效率远高于ArcGIS平台,对无索引MapReduce方法亦有明显的效率优势,研究拟为地理国情普查数据的高性能、多类型、大批量统计分析提供优选方案.     

基于四叉树和R+树复合索引时空数据查询研究

针对空间数据库的现有索引方法可扩展性差和检索效率低的问题,提出了一种分布式复合时空索引方案MixIndexer,可以满足对大量时空传感器数据的查询需求.首先,本文提出了一种基于Couchbase的分布式时空索引体系结构,该体系结构由全局索引和局部索引组成;其次,结合分布式增强R+(MDR+)树算法,提出全局四叉树索引方法以提高时空数据的检索和查询效率,并设计了一种基于MapReduce的大时空传感器数据批量构造指标并行处理方法;最后,基于Couchbase几种常见的键值结构实现了MixIndexer复合索引.经实验,MixIndexer复合索引方法优于典型空间数据库的索引方法和单个树索引R+(Cache Conscious R+Tree,CCR+)方法,相比较查询耗时分别缩短42%和25%.     

基于HBase与静态多级格网索引的地表覆盖数据高效检索方法

地表覆盖是地理国情监测的重要对象,为地理国情分析评价模型提供了可靠的数据源.高效的地表覆盖数据检索方法是挖掘地表覆盖数据潜在价值的前提.由于地表覆盖数据体量庞大、更新频繁,要素分布密集且不均匀,传统的空间检索方法出现了扩展困难、检索能力不足等问题.提出了一种基于HBase与静态多级格网索引的地表覆盖数据空间检索方法,针对地表覆盖数据特征设计了基于HBase的静态多级格网索引,利用MapReduce实现索引并行构建,通过多级过滤的方式,提高了地表覆盖空间范围的查询效率.实验表明,该方法能快速完成大规模、密集分布的地表覆盖数据的空间索引构建,提升空间检索性能,并具有良好的扩展性,可为其他海量空间矢量数据的检索提供借鉴.     

维、哈、柯多语种搜索引擎中索引器的研究

本文主要研究维、哈、柯多语种全文搜索引擎索引器模块中的关键问题,并提出了一系列有效的解决方法.包括适合于维、哈、柯多语种全文搜索引擎的倒排索引结构,检索算法,倒排表的更新策略以及低频词的置换处理等.实验结果表明,该方法能满足维、哈、柯语言文字的处理需要,同时明显地提高了维、哈、柯文搜索引擎的索引效率以及搜索结果的质量.     

基于Map/Reduce的索引数据云存储模型研究

针对目前搜索引擎引擎系统存在的数据量庞大、访问用户高并发性和搜索延迟性的特点,提出了基于云存储的文档索引分类存储模型,并在索引数据分类存储算法实现过程中,采用基于Map/Reduce编程模型的二次索引词权重计算,以降低分类过程中的模糊粒度.通过实验验证基于该存储模型的算法不仅可以提高海量数据索引库的数据处理效率,而且在一定程度上降低了检索系统查询延迟,提高了搜索效率.     

建立省级基础地理信息数据库管理系统初探

建立省级基础地理信息数据库,必然要设计和开发基础地理信息数据库管理系统,并解决大数据量、多种类型空间数据的集成管理问题.介绍和讨论最近完成的浙江省基础地理信息数据库(1:10 000示范库)管理系统中诸如系统总体框架、系统功能、空间数据库结构、海量多源数据组织、空间索引建立等有关技术问题.试验结果确定了比较合适的空间索引数据,从而获得了对海量数据较好的访问性能,示范库的建设工作达到了预期的目的.     

一种面向移动终端地理场景点云在线可视化的集成型索引

针对现有点云索引研究方法欠考虑移动终端性能特点这一问题,提出了一种适用于移动端点云场景在线可视化的集成型空间索引。该索引首先利用考虑了移动终端网络带宽与计算渲染性能特点的改进型KD-tree实现点云数据的均衡划分与编码,在此基础上构建点云数据的LOD模型,并使用改进型八叉树管理其组织,最后通过改进型KD-tree的编码联结改进型八叉树形成〈1 一级树 ： 1二级树〉的优化型索引结构。该索引可支持移动端实现基于LOD的点云场景渲染策略,支持从数据块层面判断点云数据的空间关系,也支持数据的多线程查询。实验与分析表明：相比传统点云索引,该索引具有稳定的构建效率与优秀的空间查询性能,可为移动应用提供可靠的数据支持,能满足移动端点云在线可视化应用需求。     

基于P2P移动终端的多源空间数据访问策略

分析当前地理信息系统在多服务器协同与空间数据共享和互操作之间的问题,引入基于对等网络(P2P)的节点调度与路由查询技术,通过建立和发布web服务,采用基于多源数据统一访问策略,实现移动网络的终端管理、会话管理、空间数据管理等功能,并根据服务质量对节点进行分组分级管理,从而发挥P2P在空间数据管理和查询上的高效性.实验表明,利用P2P技术能有效提高移动终端在大规模海量地形数据更新过程中对多源数据库的访问效率.     

多维数据检索查询的新机制

结合数据立体方体和R树两种索引方法快速灵尖地进行数据查询,设计了最近邻接快速查询算法FNN,解决了一般R树查询中无法快速查询高维度数据的问题,使查询更高效,应用更广泛。     

S-Index:一种面向大规模RDF数据的高效率语义索引方案

大规模RDF数据的高效查询和推理是语义Web研究中关键问题.通过研究RDFS推理规则,结合ORDPATH编码机制,提出了一种新的大规模RDF数据的索引构建方案——S-Index.S-Index的一个显著特点是,通过对RDF数据的查询即可得到RDFS蕴含知识,实现了离线推理.对RDF数据中的ABox和TBox进行区分,通过ORDPATH编码,分别构建TBox中的Class和Property子父关系,以及domain和range关系的语义信息.将构建的语义编码信息持久化到RDF三元组索引中,使得三元组索引承载有语义信息,也即构成语义索引并最终持久化到底层数据库.设计并进行了一系列实验,对比了语义索引与一般索引在存储和查询时的性能.实验结果表明,S-Index语义索引在没有给不支持语义的传统RDF索引增加显著额外负担和开销的情况下,获得了在查询时对推理的有效支持.     

基于语义索引库的语义服务发现

分析了语义服务的结构,提出了一种语义索引库的构建方法.对于每一个注册的服务,抽取出其所有概念,并对每个概念在概念索引库中进行检查,对于不在概率索引库的概念建立索引.对语义服务的输入、输出、前置条件和后置条件分别建立到语义服务的索引,并记录下该语义服务;同时保存该语义服务的其他信息.该索引库免去了查询时进行语义推理的过程,同时由于语义概念均与语义服务相关,避免了大量的无关搜索;另外,由于索引库是采用倒排序索引,极大的减少了搜寻空间.仿真实验表明,该语义索引库的建立极大的提高了语义服务发现的效率.     

嵌入式数据库多连接查询优化算法的研究

针对地质灾害监测数据管理系统分布式体系结构下的复杂多连接查询，系统介绍了粒子群优化算法的原理和特点，并分析了采用粒子群优化算法求解多连接查询优化问题的有效性．该算法以左深树为搜索空间，采用有序串编码，并改进了基本粒子群优化算法的速度位置公式，将其应用于地质灾害监测数据的测试实验中，取得了良好的效果．     

XML数据查询技术探讨

XML是一种数据存储与组织模式．是WEB数据描述和交换的标准．对XML数据查询技术进行了探讨，介绍了XML数据查询的几种方法，分析了XML与DOM技术相结合进行数据查询的优势，研究了利用DOM树进行XML数据查询的实现技术。并通过一个应用实例阐述了此种查询技术的具体实现．实验表明该方法是有效的．     

基于Server GIS的城镇地籍信息系统的设计与实现

为了更好地满足地理空间信息共享的需求,提高地理空间数据的资源利用率,在分析现有GIS行业应用软件架构的基础上,结合Server GIS技术,提出了一种集成C/S架构和B/S架构应用系统GIS功能的复合架构模式,并将其应用于国土资源行业城镇地籍信息系统的架构改造实践中,将原有单一架构系统进行了子模块划分,各个模块所需的GIS功能由服务器端的GIS服务器统一提供.原型系统试运行良好,基本达到预期的目标,较好地解决了单一架构模式系统存在的问题,满足了地理空间信息共享的需求,为其他行业GIS应用系统的建设提供了思路.     

基于J2EE的数据持久模型的设计与实现

针对面向对象技术和关系数据库企业应用开发的通用环境,对数据的持久解决方案并实现数据持久模型进行了研究．基于对象一关系映射技术,使用代理模式进行持久化管理,将底层的数据访问进行独立封装,并根据业务请求和映射信息文件动态地生成SQL代码,从而使得对象模型与关系数据库之间具有无关性;同时,通过动态分配机制和缓冲机制大大提高了数据访问的效率．     

基于多通道Gabor纹理特征的遥感图像检索

遥感图像数据量的急剧增加,给研究者们提出了有效检索和管理图像的难题.为了快速准确地检索海量遥感图像,提出一种基于五叉树分解的多通道Gabor纹理特征图像检索新方法.该方法用五叉树分解法层层分解图像,在利用多通道Gabor滤波器与图像做卷积得到滤波能量值基础上,提取各子图像24个滤波能量均值和均方差作为纹理特征,并计算查询图像和与其大小相当的数据库子图像的纹理特征相似性距离,从而获得与查询图像相似的数据库子图像.将该方法用于高分辨率卫星和航空图像数据库的检索,实验结果证明了方法的有效性.