面向Cedar的列存储设计与实现

随着数据规模和分析需求的日益增长,数据库面向联机分析处理(On-Line Analytical Processing,OLAP)应用的查询性能变得愈发重要.Cedar是一款基于读写分离架构的分布式关系数据库,由于它主要面向联机事务处理(On-Line Transaction Processing,OLTP)业务,在面对分析处理负载时性能表现不足.对于这个问题,很多研究表明列存储技术能够有效地提高I/O(Input/Output)效率,进而提升分析处理的性能.在Cedar上提出了一种列存储机制,分析了其适用场景并针对这种机制改进了Cedar的数据扫描和批量更新方法.实验结果表明,该机制能大幅度地提升Cedar分析处理性能,并且对事务处理性能的影响控制在10%以内.     

数据存储与处理分离架构下的子链接消除及优化

在数据存储与处理分离架构下的NewSQL数据库中实现了子链接消除的功能,使其支持大部分子链接的执行,减少了从集中式数据库向分布式数据库迁移所需要的SQL改造代价,使得NewSQL数据库可以在电信、银行等传统行业投入使用.同时针对数据存储与处理分离的架构,对子链接消除之后的执行进行了优化,尽量减少了不同服务器之间数据的传输量.实现的结果使得NewSQL成功支持了大部分的子链接,且子链接执行效率也得到了提升.     

基于LevelDB的二维数据二级索引实现

随着科学研究中产生的空间数据尤其是二维数据量级的增长和NoSQL型数据库技术的发展,越来越多的空间数据被存储到NoSQL数据库中.LevelDB是一款开源的Key-Value型NoSQL数据库,由于它基于LSM架构并拥有较好的写入性能而被广泛应用.但是Key-Value结构的局限性使其无法有效地索引空间数据,对于这个问题本文提出了一种基于LevelDB和R-tree的二级索引,使其可以支持二维数据的索引和近邻查询.实验结果表明该结构有较好的可用性.     

面向异常检测的时序数据库查询优化

随着物联网的发展,大量传感器设备被接入网络,这些设备所产生的数据的异常检测关系到系统服务的稳定性.时序数据库是专门为时序数据优化的数据库系统.作为监控系统的重要环节,时序数据库担负着时序数据的管理和查询任务.但目前时序数据库在处理多个数据源数据的查询上存在着延迟高、没有充分利用系统计算资源的缺点.针对上述缺点,基于InfluxDB,重新设计了时序数据库的查询执行模型,提出了InfluxDB-PP (parallel processing),很好地解决了上述问题.实验结果表明, InfluxDB-PP在实时数据异常查询场景下,查询时延相较于InfluxDB降低了约85.7%.