基于MapReduce和双层倒排网格索引的kNN算法

随着卫星定位技术和移动互联网技术的飞速发展,地理空间数据来源变得更加多源异构.面对海量地理空间数据,如何快速有效地找到目标周围的兴趣点变得异常重要.依据空间k近邻(kNN)查询算法,提高效率的关键在数据索引和数据块存储结构设计,通过引入云计算的MapReduce编程模型,设计了一种面向MapReduce的地理空间数据双层倒排网格索引,利用CircularTrip算法实现了目标点近邻查询计算,最终获得距离目标点最邻近的数据点集.实验结果表明,该索引方法较单层倒排网格索引下的kNN查询效率有明显提高,且数据量越大效率提升越明显,此法适合大规模并行计算.      

基于LSM-OCTree的时空流分布式调度和存储方案

时空流的高效管理要求顾及数据的时空相关性，支持时空流的高速插入、实时索引和低延迟时空范围查询，而现有的基于HBase等的存储方案，因索引更新开销过大，无法满足高效管理要求。针对时空流的应用特性，提出了一种面向时间分片的时空流分布式调度和存储方法。利用时空流的紧耦合性进行数据划分与调度，以减少查询时数据复制的开销。将采用预分区方式构建的基于日志结构合并树的八叉树（octree based on the log-structured merge-tree,LSM-OCTree）索引作为存储结构，保证时空流的索引更新，实现索引的高效批量合并计算，提高查询性能。实验结果表明，时空动态调度策略优于通用的调度方法，LSM-OCTree索引的合并与更新性能优于常规索引结构。与HBase方案相比，基于LSM-OCTree的时空流分布式调度和存储方案的查询效率提升了20%以上。     

基于四叉树和R+树复合索引时空数据查询研究

针对空间数据库的现有索引方法可扩展性差和检索效率低的问题,提出了一种分布式复合时空索引方案MixIndexer,可以满足对大量时空传感器数据的查询需求.首先,本文提出了一种基于Couchbase的分布式时空索引体系结构,该体系结构由全局索引和局部索引组成;其次,结合分布式增强R+(MDR+)树算法,提出全局四叉树索引方法以提高时空数据的检索和查询效率,并设计了一种基于MapReduce的大时空传感器数据批量构造指标并行处理方法;最后,基于Couchbase几种常见的键值结构实现了MixIndexer复合索引.经实验,MixIndexer复合索引方法优于典型空间数据库的索引方法和单个树索引R+(Cache Conscious R+Tree,CCR+)方法,相比较查询耗时分别缩短42%和25%.     

S-Index:一种面向大规模RDF数据的高效率语义索引方案

大规模RDF数据的高效查询和推理是语义Web研究中关键问题.通过研究RDFS推理规则,结合ORDPATH编码机制,提出了一种新的大规模RDF数据的索引构建方案——S-Index.S-Index的一个显著特点是,通过对RDF数据的查询即可得到RDFS蕴含知识,实现了离线推理.对RDF数据中的ABox和TBox进行区分,通过ORDPATH编码,分别构建TBox中的Class和Property子父关系,以及domain和range关系的语义信息.将构建的语义编码信息持久化到RDF三元组索引中,使得三元组索引承载有语义信息,也即构成语义索引并最终持久化到底层数据库.设计并进行了一系列实验,对比了语义索引与一般索引在存储和查询时的性能.实验结果表明,S-Index语义索引在没有给不支持语义的传统RDF索引增加显著额外负担和开销的情况下,获得了在查询时对推理的有效支持.     

基于内存数据库的矢量数据存储与空间索引研究

基于传统磁盘数据库的管理系统已能较好地管理土地利用矢量数据,但较大的内外存数据交换开销对系统实时性有一定影响.没有I/O开销的内存数据库将是解决该现状的良好方法.基于内存数据库Redis设计土地利用矢量数据库存储组织,提出点、线、面不同的空间要素空间特征数据的存储结构.采用缓存敏感优化并基于磁盘数据库中的空间索引R+树,提出了一种适合Redis的空间索引.对比实验发现,在数据查询和统计分析速度等方面较基于Oracle 10g的管理系统有较大提升.     

移动互联背景下校园卡支付体系设计与实践

针对现有校园卡在脱机和写卡时存在的消费安全隐患,结合互联网技术发展及移动支付应用需求,在分析卡片发展历程的基础上,提出校园卡第3阶段发展概念：即在线化、无卡化、移动化、多介质化;架构适应发展需求的校园卡在线支付体系,建立基于云架构云服务的支付平台和虚拟服务大厅,设计网络、数据、安全和应急响应等保障措施,依托在线账户、二维码、移动终端,实现校园卡支付服务的移动化和自助化.     

基于HBase与静态多级格网索引的地表覆盖数据高效检索方法

地表覆盖是地理国情监测的重要对象,为地理国情分析评价模型提供了可靠的数据源.高效的地表覆盖数据检索方法是挖掘地表覆盖数据潜在价值的前提.由于地表覆盖数据体量庞大、更新频繁,要素分布密集且不均匀,传统的空间检索方法出现了扩展困难、检索能力不足等问题.提出了一种基于HBase与静态多级格网索引的地表覆盖数据空间检索方法,针对地表覆盖数据特征设计了基于HBase的静态多级格网索引,利用MapReduce实现索引并行构建,通过多级过滤的方式,提高了地表覆盖空间范围的查询效率.实验表明,该方法能快速完成大规模、密集分布的地表覆盖数据的空间索引构建,提升空间检索性能,并具有良好的扩展性,可为其他海量空间矢量数据的检索提供借鉴.     

面向分片地图的多分辨率格点数据统一存取方法

不同的海洋环境要素对象、数据文件格式及数据分辨率使得对异构且离散的场数据访问和应用受到了限制.设计了面向分片地图的统一数据多级存储组织架构,定义了适用于不同分片地图对象的海洋场数据组织方式,提出了多分辨率格点场数据分层和分块方法,并通过建立索引编码,实现将多要素、多时次、多深度、多高度的海洋环境场数据按统一维度的小区块存储并管理于多级组织架构中.该方法在海洋环境预报综合信息服务平台的应用中有效支持了异构场数据的整合、时空统计分析及可视化表达等.     

基于Map/Reduce的索引数据云存储模型研究

针对目前搜索引擎引擎系统存在的数据量庞大、访问用户高并发性和搜索延迟性的特点,提出了基于云存储的文档索引分类存储模型,并在索引数据分类存储算法实现过程中,采用基于Map/Reduce编程模型的二次索引词权重计算,以降低分类过程中的模糊粒度.通过实验验证基于该存储模型的算法不仅可以提高海量数据索引库的数据处理效率,而且在一定程度上降低了检索系统查询延迟,提高了搜索效率.     

基于P2P移动终端的多源空间数据访问策略

分析当前地理信息系统在多服务器协同与空间数据共享和互操作之间的问题,引入基于对等网络(P2P)的节点调度与路由查询技术,通过建立和发布web服务,采用基于多源数据统一访问策略,实现移动网络的终端管理、会话管理、空间数据管理等功能,并根据服务质量对节点进行分组分级管理,从而发挥P2P在空间数据管理和查询上的高效性.实验表明,利用P2P技术能有效提高移动终端在大规模海量地形数据更新过程中对多源数据库的访问效率.     

基于Internet的大范围三维地形实时渲染

基于Internet、分布式计算以及计算机图形学概念,提出了使用J2EE实现基于Web的大范围三维地形实时渲染的实现方法,分析了基于Web的三维地形渲染系统的开发过程中三维地表模型的建立、场景漫游,地形块拼接等环节的关键技术.这一方法集成了GIS、三维地形可视化、分布式计算以及网络通信等技术,允许用户通过标准Internet浏览器来应用远程功能对DEM数据进行可视化分析.     

基于Java APplet的Internet地图服务平台设计

;主要论述了网络环境下建立地图服务平台的设计思路与结构设计.在此基础上对矢量地图数据基本流程做了详细的论述,其中主要包括数据获取、数据压缩、数据传输、数据表达与空间查询等.基于Java语言.论文从底层实现了基于socket协议连接的服务器端与客户端地图数据的组织、传输与数据可视化表达,实现了网络地图发布平台.论文主要讨论了Java环境下具体地图服务平台设计.     

面向移动用户的空间信息网格服务模型

在分析国内外最新的计算机技术与GIS技术研究现状基础上,结合移动GIS和网格GIS两种技术,紧紧围绕移动终端存在的内存小、带宽窄、易断接的特征,分析和探讨一种可行的面向移动用户的新型开放式空间信息网格服务机制,提出面向移动用户的空间信息网格服务模型(spatial information grid service model for mobiledevices,M-SIG),进而对数据与功能服务的广域描述、组织和管理机制以及移动终端的服务调用方法进行讨论,并对原型系统进行了测试.     

顾及要素空间分布特征的稠疏矢量瓦片构建方法研究

现行常用的金字塔模型构建矢量瓦片方法普遍未考虑空间对象的分布特征,导致同一层级矢量瓦片之间的数据量不均衡,引起瓦片数据加载渲染效率差异和并发一致性问题.为此提出一种顾及要素空间分布特征的稠疏矢量瓦片构建方法.该方法在保证矢量瓦片金字塔模型多分辨率特性的同时,对每一层级中要素数据量大的瓦片进行层次分解,形成了稠疏空间格网,从而实现同一层级矢量瓦片间的数据量相对均衡.实验表明,该方法实现了矢量瓦片访问时的负载均衡,提升了矢量瓦片的加载渲染效率,获得了更好的用户体验.     

面向移动用户的矢量地图数据压缩方法

随着第4代移动通信技术（4G）的普及以及4核和8核CPU手机的出现,无线网络数据传输能力和移动终端性能得到了大幅提高.移动用户的广泛参与使得地理信息的采集和上传下载数据巨量,致使有限的带宽传输速率与海量信息传输需求存在矛盾.针对移动用户对空间数据的高压缩率和高失真度容忍率的需求,提出了一种新的矢量地图数据压缩方法,通过去除冗余点、平移坐标轴和转换数据类型3个步骤,可2次压缩数据.测试结果显示,该方法的综合压缩率接近70%,可有效降低无线网络数据传输负荷,节约移动终端的存储空间.     

基于着色模型实时构造的海洋流场动态流线可视化方法研究

为了实现海洋流场流向、流速等特征信息的直观高效可视化表达，提出了一种基于着色模型实时构造的海洋流场动态流线可视化方法。设计了一种可适应三维纹理的流线属性信息存储结构，构建面向动态流线的着色模型并进行流线实时构造，实现复杂海洋流场的动态可视化表达。实验结果表明，相较于静态流线可视化方法和基于动态图元的流线可视化方法，该方法显著提高了流场海量数据集的可读性以及流场可视化的渲染效率与表达效果，更直观、流畅地反映了流场的时空特征和复杂动态过程。     

基于群集技术的多服务器地理空间数据管理

析了现有海量空间数据网络管理技术在系统整体性能方面存在的局限,引入群集技术,充分利用群集技术的高性能计算和高可靠性的服务器架构等特点,优化设计了基于群集的多层GIS应用服务器体系结构,结合常规海量空间数据库管理的空间索引分区、远程内嵌过程等效率策略,提出了一套基于群集的海量空间数据多服务器管理技术.通过基于Oracle真正应用群集(real application cluster,RAC)和Oracle9i应用服务器(9i Application Server,iAS)的应用实例,验证了基于群集空间数据管理技术的可行性及其高性能.