具有数据清理功能的交互式数据迁移及应用

针对众多论文对数据迁移的研究多是泛泛地介绍数据迁移的方法,而没有考虑数据迁移过程中的数据清理问题,提出了一种具有数据清理功能的交互式数据迁移技术.该技术把数据迁移和数据清理紧密地结合在一起,具有开放的规则库和算法库.通过在规则库中定义规则以及从算法库中选择合适的清理算法,不仅能灵活、准确地完成数据的迁移,还能保证数据迁移后新系统的数据质量.该技术被应用于医疗保险信息系统再工程项目,取得很好的效果,从而说明这种数据迁移技术在实践中是可行的.     

基于综合相似度迁移的协同过滤算法

数据稀疏性问题是传统协同过滤算法的主要瓶颈之一.迁移学习通常是利用目标领域与辅助领域的潜在关系,对辅助领域进行知识迁移,以此来提高目标领域的推荐质量.现有的基于相似度迁移模型,普遍只利用了用户评分信息,并且在评分相似度计算上忽略了用户评分标准个性差异.针对这些问题,提出了一种综合相似度迁移模型,在相似度计算上,即利用了用户评分信息同时也利用了用户属性信息,并且考虑了用户间对满意度的打分标准的差异性,采用了用户评分分布一致性来衡量用户评分相似度的方法,提高了相似度计算的准确性,从而提高了数据迁移的质量.实验结果表明,该模型较其他算法能比较有效地缓解数据稀疏性问题.     

数据迁移与清洗的策略研究及其在政务基础数据的应用

为了实现数据的共享及数据价值发现,需要对数据进行迁移和清洗.数据迁移的效率和数据质量的好坏,直接影响到数据挖掘的效果和价值.本文对数据迁移与清洗的策略进行了研究,设计了数据迁移与数据清洗的流程和策略,通过寻求最优线程数,并行处理数据迁移与清洗,并将其应用到政务服务基础数据的处理上.在处理速度和数据质量上都有明显提升,同...     

一种面向稀疏数据的比率相似度计算方法

针对传统协同过滤方法存在数据稀疏问题,该文提出了一种面向稀疏数据的比率相似度计算方法,该方法在相似度计算过程中仅基于用户全部的显式评分数据,并且不依赖于共同评分项。用户的未评分项目通过相似度计算结果和最近邻的评分数据进行预测,并将预测评分较高的项目推荐给用户,实现个性化推荐。实验在两个公开的数据集上进行,结果表明,在数据稀疏的情况,该方法下仍然能够实现较高的推荐精度。     

统一存储网数据迁移系统的设计与实现

针对统一存储网数据安全的需要,根据ServerFree存储设备点到点相互直接备份数据的解决方案,利用网络通信和分级存储技术,分别建立起数据迁移源端和迁移目的端．这两端是相互独立的,各自包括一个主线程和一个处理子线程,其中主线程负责初始化、监听端口连接请求和创建处理子线程,而处理子线程则负责处理命令请求和传输数据等．通过让备份的数据在存储设备间进行直接传输,可以解脱备份对LAN的影响,使得服务器在备份命令提交后不必再进行数据的读写控制,释放了服务器的CPU周期,提高了传输速度,从而实现了一个新的基于统一存储网的数据迁移系统．测试表明,在相同的网络环境下对同等大小的数据进行传输,采用统一存储网数据迁移系统的数据传输速度比采用samba技术的数据传输速度快20％．     

基于相似度的神经网络多源迁移学习算法

为了解决迁移学习中的"负迁移"问题,提出了基于相似度的神经网络多源迁移学习算法。该算法是以经典的BP神经网络模型为基分类器,利用梯度下降法对各个源领域与目标域之间的相似度进行学习和优化,把各个源领域的网络权重参数信息按照与目标域之间的相似程度迁移到目标域中,提高机器学习算法在目标域的分类性能。在UCI数据的Letter-recognition数据集以及20Newsgroups文本数据集上进行实验。实验结果表明了MTL-SNN算法比传统的多源迁移学习算法以及BP神经网络算法在分类准确率上有所提升,因此MTL-SNN算法有效地解决了"负迁移"问题。     

相似博弈市场及其效率分析与应用

作者提出“相似博弈”的概念,并对相似博弈市场的效率分析进行了讨论,在此基础上,作者提出了可以运用博弈论的思路来度量非物质性事物的经济价值.最后,作者将该方法应用到软件知识产权政策的选择上,得到了有意义的结论.     

信息系统间数据迁移的设计与实现

数据迁移的顺利完成是信息系统改造升级中相当重要的一环。本文以一个实际应用中的信息系统为例,从分析设计阶段到实施阶段,详细阐述了数据从一个既有成熟的系统向新建设的系统中迁移的实现过程和注意要点。     

不完全停机下的系统数据迁移方案与实现

随着医院信息化的不断发展,应用负荷的不断增加,服务器超出正常负载能力,医院将面临服务器升级的问题.数据迁移是服务器升级过程中最重要的环节.数据迁移过程中一定要保证数据安全、无损、完整地从旧数据库服务器迁移到新的数据库服务器上.我们了解的传统系统升级和服务器升级的数据迁移操作,采用的是在业务系统完全停用的状态下,对系统历史数据进行迁移.这种数据迁移方式虽可保障数据库上的所有数据进行有效、安全、完整的迁移,但系统停用对于整个医院医疗活动的影响很大,如何能实现将旧数据库服务器上的所有历史数据转换到新的数据库服务器上,并且在数据迁移的过程中,不停用业务核心部门的系统应用.本文就广东省妇幼保健院HIS服务器升级过程中实现不停用业务核心部门的系统应用情况下对数据迁移的安全保障实践作一讨论.     

政府办公自动化信息系统数据迁移解决方案

阐述政府办公自动化新旧系统数据迁移的意义,提出一种政府办公自动化信息系统数据迁移解决方案.该方案通过数据库结构分析、数据迁移流程设计和数据迁移实现3个步骤,可以正确、快速地实现政府办公自动化新旧系统的数据迁移,保证数据的完整性.     

浅谈Apabi数字图书馆与德赛系统数据的迁移

概述了Apabi数字资源平台的优势,详细介绍了Apabi数字图书馆与德赛系统数据的迁移方法。     

大数据质量管理:问题与研究进展

 当前大数据在多个领域广泛存在,大数据的质量对其有效应用起着至关重要的作用,因而需要对大数据进行质量管理.尽管数据质量管理方面已经有一些研究成果,但由于大数据具有规模大、速度快和多样性高的特点,现有的方法难以适用于大数据质量管理.本文针对错误发现、错误修复和劣质数据查询处理,综述了大数据质量管理的问题与挑战,认为大数据质量管理的挑战主要有计算困难、错误混杂和缺少知识3 个方面.本文依据这3 个方面的解决方法,对大数据质量管理目前的研究进展进行了综述,并展望了大数据质量管理未来的研究方向.     

一种高效安全的银行数据存储系统研究

浙江建行在实现全省数据集中处理后，原有的数据存储已难以胜任，同时数据集中后对数据的安全和灾难备份提出了很高的要求。为此，从实际需求和技术领先的角度，提出了一种高效、统一、安全的银行数据存储方案。     

SQL Server到Oracle的数据迁移方法

分析比较SQL Server和O racle的数据结构,介绍从SQL Server到O racle数据迁移的四种方法,通过实例给出使用O racle M igrate W orkbench工具将数据从SQL Server迁移到O racle的步骤和问题分析。     

采用多叉树模型数据迁移算法的设计与实现

针对目前传统关系型数据库中的历史数据向非关系型数据库迁移的低效率问题,提出利用多叉树模型对历史数据存储模式进行重构.基于4种模式迁移规则对各表节点之间的关联关系进行分析,推导算法完成传统关系型数据库中存储模式和历史数据的自动化迁移.该算法不受源数据库存储模式的限制,具有一定的通用性.数据迁移实验表明:在查询性能上,基于多叉树的迁移算法比官方迁移工具Sqoop有较大的提高.     

基于语义的XML数据清洗框架

在XML数据清洗中,模式约束语言提供的信息不能满足准确数据清洗过程对于领域知识的需要;同时,传统的树编辑算法在对XML实例数据进行清洗时,由于缺乏对XML结构信息的语义描述,造成了大量的数据匹配错误.基于此,引入参考本体和领域本体分别对上述问题进行解决,给出了模式约束的度量指标和一个XML结构感知算法,并构建了一个基于语义的XML数据清洗框架.     

面向周期性工业时序数据的流式清洗系统

为了高效清洗具有时序性、周期性等特点的工业数据,首先利用分布式组件设计了一套流式清洗系统,系统以Mosquitto作为采集数据的汇集中心,以Flume为连接组件,以Kafka为缓冲组件,对接数据清洗组件,使系统具有高吞吐、大缓冲等优势。然后基于速度约束模型,设计了一种周期性数据清洗算法,综合工业数据的时序性、周期性、物理意义等特性,在原有速度约束算法基础上增加周期性检测和数据切片机制,以解决速度约束算法处理周期性数据的失真问题,提高可用度。最后文中以盾构掘进数据集为样本,验证了系统和算法的有效性,以及改进算法的适用性。     

数据仓库聚集策略优化的研究

数据仓库聚集策略的维护与优化是数据仓库领域的重要研究课题，反映了数据仓库反生命周期规律的重要特征．探讨一种基于数据仓库质量的聚集策略优化方法，以及在此基础上提出了一个基于C0RBA的Agent实现技术构建具有主动性和适应能力的数据仓库聚集策略优化的实现方案．利用Agent的特性，从而适应用户需求的变化、提高系统的性能和用户满意度．     

数据挖掘及其在高校教学系统中的应用

简要介绍了数据挖掘技术，详细分析了关联规则挖掘算法。给出了一个完整的数据挖掘系统一教学系统的设计与实现过程。它包括数据的准备与选择、数据的预处理、挖掘算法的选择与实现、挖掘结果的描述四个步骤。文中详细介绍了上述各个步骤的处理过程，并增加了兴趣度阈值来提高挖掘的精度，为高校管理决策提供了科学依据。