基于众包的钻井物料数据仓库ETL系统研究

随着商业智能的发展,现代化石油钻井企业开始越来越重视数据的作用,如何将企业多年信息化建设的成果更有效地利用起来成为当前企业信息化建设的一个重要内容.数据仓库建设的过程中最重要的过程就是ETL过程.ETL过程经常需要耗费大量的人力、物力、财力.但是效率依然十分低下,为了解决这个问题,本文提出采用网络众包的方法将传统数据仓库ETL过程与众包的方式结合,构建基于众包的钻井物料数据仓库ETL系统,有效提高石油企业数据仓库建设的效率.     

三峡库区地质灾害数据仓库的ETL技术研究

结合三峡库区地质灾害数据仓库框架和库区数据的特点,提出了一套地质灾害数据仓库的ETL解决方案,并针对数据抽取、转换、加载等关键技术进行了研究,最后以单体地质灾害（滑坡）为例,说明了地质灾害数据仓库ETL的具体实现过程。     

银联数据仓库系统中ETL的设计和实现

针对银联数据的特点，设计实现了银联数据仓库ETL系统。该系统采用模块化的设计方式，增强了系统的可控性和灵活性。元数据模块使ETL系统能够灵活地适应银联业务逻辑的频繁变化；调度模块采用线程池技术．改进了以往多线程技术，提高了数据抽取的效率和系统资源的使用率；日志、监控信息及通知模块解决了系统出错快速恢复的问题。测试表明该ETL系统很好地满足了银联的需求。     

银联OLAP系统中数据仓库的设计与实现

为了从大量银联交易流水数据中提取出有助于管理者进行决策的信息并实现数据的共享,将数据仓库与OLAP两项技术应用于银联数据分析系统中,实现对银联交易流水数据的多维分析、多模型主题分析。     

基于计算机数据仓库技术的银行经营理念分析研究

应用计算机数据仓库技术实行银行数据仓库的构建,对目前阶段的银行业务数据信息实行多层次的数据加工操作处理,相应地分析出各种类型数据之间的联系,充分地发掘出深层次的有意义数据信息,从而满足银行管理决策与客户分析的实际需求。     

数据仓库ETL任务调度的一种改进算法

本文提出了一种基于遗传算法的ETL任务调度改进算法。由于ETL调度子任务之间具有先后顺序的限制,传统遗传算法不能很好的适应。本文通过对传统遗传算法的各个步骤进行相应处理,得到一种改进的ETL任务调度算法;实际应用结果表明调度算法显著提高了处理ETL子任务的效率。     

某出版社数据仓库系统的设计与实现

随着企业积累了大量业务数据,如何利用数据仓库对这些数据进行分析日益成为技术人员和企业决策者感兴趣的问题。某出版社的出版信息管理系统主要为了适应其自身信息化建设的需要,数据仓库系统则是整个出版信息管理系统的有机组成部分,也是相对比较独立的一部分。我们的数据仓库系统依据该出版社的销售、出版和库存情况,采用由下至顶的方法在SQL Server2000中构建了数据仓库模型。使用户能够根据不同角度对数据完成图表式的分析。本文最后探讨了系统的测试与整体评估。     

钻井数据仓库的OLAP系统设计与实现

随着数据库技术的发展和数据库规模的日益扩大,人们希望从已有的数据中提炼出有用的信息来服务于决策者,数据仓库应运而生。OLAP作为数据仓库最重要的前端数据展示技术,它和用户交互时起着特殊的作用,因此也成为数据仓库体系结构中的一个重要环节。     

数据仓库技术在公路交通数据仓库中的应用与实现

介绍了数据仓库的背景和主要技术,展示了公路数据库的特点,公路数据仓库的特点和体系结构,主要阐述了公路数据仓库的实现步骤及功能。     

非结构化数据的ETL设计

为了实现非结构化数据的ETL处理,分析了数据整合的发展现状和业务需求,描述了目前国际流行的公共仓库元模型（CWM）以及在ETL实现中的作用,详细分析了结构化数据和非结构化数据的不同特点。针对两种数据的差异,提出了解决非结构化数据的属性提取和数据打包的方法,为非结构化数据形成元数据奠定了基础,从而实现了非结构化数据的ETL设计,设计完全满足标准的数据整合要求。     

基于SOA的银行非现场稽核系统中ETL设计与实现

本文基于SOA设计思想,采用XML技术实现异构数据源的通用接口访问方式,提出一种采用配置文件来增强系统灵活性的方法,该方法提高了系统的可扩展性,稳定地完成ETL功能.DCT系统也可方便扩展用于其他行业数据仓库的ETL任务.     

商业银行稽核系统的ETL设计及改进方法

在数据仓库项目的实施中,为了实现整个ETL过程的顺利执行,需要针对单个ETL过程和整个数据流程进行协调调度处理,以保证数据按照我们的转化规则和业务逻辑正确地进入数据仓库.本文介绍某银行稽核系统ETL的设计方法,并给出一些改进的建议.     

基于ODS的数据仓库研究与实现

数据仓库 (DW)在决策支持系统起着举足轻重的作用 ,在数据的存储和挖掘中有着诸多优势 ,但对处理实时数据的处理效率不高 ,操作数据存储 (OperationalDataStore)的出现弥补了数据仓库在效率上的不足。对ODS作了系统论述 ,并提出了相应的解决方案。     

数据ETL过程中的数据质量控制

分析产生数据质量问题的原因，并对数据质量问题进行了分类，建立数据质量评价的量化标准。提出通过模式集成解决模式层次上的数据质量问题，通过数据清洗解决实例层次上的数据质量问题，并概述了数据清洗算法，提出分四步进行数据ETL数据清洗。     

基于可复用构件思想的ETL架构设计

为了在一类相似或相近的数据仓库系统中共享ETL过程,以提高数据仓库构建的效率,提出基于可复用构件思想的ETL架构,介绍10家银联省级分公司统计分析系统ETL构件识别过程,探讨了基于已识别构件设计可重用ETL架构的方法,在实际应用中,该架构大幅度地提高了银联统计分析系统数据仓库构件的效率和质量,表明这种基于可复用构件思想的ETL架构是有效的.     

数据ETL过程中的实体识别方法

实体识别是根据记录所包含的各种描述信息来确定与之相对应的现实实体，记录的相似匹配是数据集成中最具挑战的工作。分析了常见实体识别算法，提出了实体识别过程框架，用以实现数据ETL的数据规约功能。在开发的实现语义数据集成的联通统一客户资料系统(UCIS)中，用实体识别算法进行测试，得到的平均返回率和精度分别为86．3％、96．5％，能够满足工程应用的要求。     

基于ETL和JMS的数据同步的设计与实现

分析了发电集团级数据的同步需求,提出采用ETL技术进行数据抽取和转换,并将数据提供给消息发送者（JMS服务）,采用JMS技术进行数据传输和消息发送。通过分析实例描述了系统的设计思路和实现方法,并给出了关键技术的主要代码,成功实现了异构数据库的数据同步。