大数据研究综述

针对大数据在生活中越来越普遍，分析了大数据的概念，对大数据的关键技术大数据集成、集群计算、大数据挖掘、数据仓库和大数据可视化进行了框架式讨论，并给出了大数据开源实现平台的技术组件，最后对大数据的挑战给予了展望.     

大数据时代统计新思维

随着互联网时代的到来,网络数据信息越来越丰富,大数据时代以其数据规模更大、结构更复杂,而引起全球各国的广泛关注。而大数据和统计工作又存在着天然的、内在的、必然的联系,大数据时代的到来为统计新思维提出了新的要求。本文首先介绍了大数据的内涵,包括定义及其特点,紧接着详细阐述了大数据时代统计新思维的变化方向,最后提出几方面的应对策略,对提高我国统计工作水平具有重要意义。     

基于大数据的对账算法的设计

介绍了在大数据以及高并发的情况下,对大型交易系统中对账子系统进行模型定义以及对账算法设计,并把设计的算法应用于工程实践中,在实际的工业生产中取得较好的运行性能,其稳定度、可靠度、准确度都表现出了工业生成中的优异性能。     

面向道路交通监控网的异构大数据语义融合方法

为解决广域网分布式环境下异构车辆轨迹大数据的语义融合问题,基于MapReduce和ACO算法提出可在广域网环境分布式并行执行的异构大数据语义聚类融合DPACO方法.该方法在数据源端节点并行完成聚类运算中复杂度最高的部分,将所得结果合并为数据量较小的中间结果,然后将中间结果传送到中心节点并自适应地生成聚类中心.此外,该方法无需预设公共语义模型,通过移动计算避免移动大数据,大大提高了运算效率.实验比较了DPACO方法和已有基于MapReduce的并行化ACO方法,结果表明DPACO方法在广域网环境异构大数据语义融合中具有更好的可用性.     

数据虚拟化研究综述

大数据系统中数据源多,数据规模大,且数据具有异构异质的特点,为满足各种数据集成需求,如何快速高效地整合数据就显得越来越重要且具有挑战性。数据虚拟化能够灵活地实现各种数据集成需求,介绍数据虚拟化的概念、优势及应用需求,给出一种数据虚拟化系统架构,并对其中的数据虚拟化平面与管理平面以及各层的功能进行了阐述。重点针对数据虚拟化系统中存在的一些关键问题与挑战进行了详细分析,给出了需要进一步研究的课题与方向。     

国内图书情报界大数据研究综述

总结了国内图书情报界大数据研究的现状,重点分析了国内图书情报界大数据研究的内容,并对图书情报界未来大数据研究的热点和发展趋势进行了预测,以期为图书情报机构深入研究大数据环境下的创新管理和智慧服务提供参考。     

一种分布式的模糊聚类方法

由于FCM算法中的初始值需要随机的设定,这种随机性不能保证每次都能达到全局最优,也就是说如果初始聚类中心的设置具有全局的特点,那么聚类的结果才能达到全局最优。因此主要针对模糊c-均值(FCM)聚类算法对初始值很敏感,而且容易陷入局部最优解的这一特点,提出了一种分布式的模糊聚类方法。首先用分治法得到模糊聚类的全局的聚类中心值,然后再用FCM进行聚类,从而克服FCM算法对初始值敏感和容易陷入局部最优解的缺陷,达到全局最优。经仿真实验证明结果是很理想的。     

从大数据到大知识

从大数据获取大知识是未来人工智能要解决的重要科学问题。本文从大数据(BD)概念诞生谈起,回顾了大数据知识工程(BDKE)的提出和大知识概念的出现。然后从(1)大知识(BK)、大知识系统(BKS)、大知识工程(BKE)等概念的基本定义、(2)大知识规模及其演化、(3)大知识建模、(4)大知识计算、(5)大知识支撑平台、(6)大知识编程语言等六个视角对大知识进行了探讨。最后给出了有关未来研究方向的想法。     

基于大数据的科技评价方法研究

科技评价对象所涉及的数值、图像、声音具有全媒体、多维度、跨时间的特性,挖掘和运用这些海量数据,转化为直观的、随时间和空间变化的、以图形图像呈现在同行评议专家面前,可以有效提高评价的效率和效果.通过建立众包模式、数据整合和提取规则知识、将科技评价结果应用于实践、建立评价过程交互式可视化的流程以构建基于大数据的科技评价模式,这种模式存在着观念陈旧过时、数据挖掘能力、大数据处理速度、科技评价数据安全等方面的挑战.     

新工科背景下大数据技术基础课程教学方法

[目的]大数据技术基础课程体现了多学科融合、多行业辐射、实践性强等特点,是数据科学与大数据专业的一门具有标,探讨传统教学方法存在的典型问题。[方法]针对大数据技术基础课程的跨学科性,立足于“新工科”下的工科人才培养目标,提出教学资源库的建设和优化方法,将教学资源库里的内容进行科学的分类,将教学咨询库的知识点内容进行分级标穿于课前、课中和课后３个教学阶段,充分结合学生实际,科学构建混合式多元评价指标。[结果]优化的教学内容和方法提注;进一步围绕线上线下﹑项目案例﹑分层教学﹑创新能力﹑课程思政等要素给出具体的优化的教学方法;将过程性评价贯交叉性、实践性、前沿性的核心课程。为了弥补已有教学内容和教学方法的不足,根据大数据技术基础课程的特点和教学目升了学生解决大数据领域复杂工程问题的能力。[结论]教学实践表明,所提的优化方法较好地提升了教学效果     

点云数据的三角剖分及计算机三维重建

为了解决直接剖分法因点云数据拓扑结构复杂出现的自交现象,提出了一种基于分治策略的三角剖分方法.首先,对原始点云数据进行平面投影并执行区域分割;其次,在每一个区域内进行直接剖分,剖分过程遵循异侧剖分准则、法向量夹角最大剖分准则、阈值距离剖分准则、最小内角最大剖分准则.最后,按照空间Delaunay剖分准则完成区域之间的连接.实验结果表明,该文提出的剖分方法对于规则曲面点云和非规则曲面点云都具有理想的剖分效果,并且执行速度快.     

轨迹大数据的比较算法研究

为了对轨迹大数据比较算法进行深入了解和研究, 介绍了各类轨迹比较算法, 并结合轨迹大数据的研究发展和应用背景, 对轨迹大数据比较算法进行较为全面和系统的综述。 随着轨迹大数据应用问题的不断凸显,轨迹大数据的研究需要结合目标需求, 深入研究轨迹数据比较算法的大数据计算、 算法智能性以及算法的效率和有效性等问题。     

基于大数据技术的操作系统教学思考

针对目前传统教学模式存在的问题和大数据技术的快速发展的现状，结合操作系统课堂教学和实验教学的特点，提出基于大数据技术的操作系统课程教学措施，改进操作系统课程的教学模式，提高教学针对性。     

一种基于车载信号还原机动车道3D地图的大数据方法

提出一种基于多台行驶中汽车产生数据重建机动车道3D地图的大数据策略.每台在线汽车上的程序实时上传经过优化的汽车3D坐标信息至服务器.优化方法为使用最小二乘法结合卡尔曼滤波器,利用汽车总线信号实时修正汽车的位置,相比GPS信号,经纬度和高度误差均降低50%以上.此外,还使用遗传算法代替卡尔曼滤波器,进一步降低卡尔曼滤波器的经纬度误差达16%.其次,服务器根据来自多台在线汽车上传的数据建立道路表面的3D点云数据库,并使用K-聚类算法进行数据挖掘,可推算出具有多条行车线道路的每条行车线的中心轨迹,以此建立机动车道3D地图.所建立的地图可为汽车能耗优化策略提供数据支持,降低行驶能耗.     

赛程问题分治算法

对于单循环赛的比赛日程安排问题，给出了可读性较好，时空复杂度仅为平方阶的分而治之算法。     

日本大数据技术服务现状研究

本文通过对日本大数据技术服务市场应用现状和问题的探讨,为我国大数据技术服务产业敲响警钟。我国相关部门可以针对日本在大数据技术服务提供产业中所遇到的问题及早布局,减少某些尚未暴露或者已经暴露出的行业发展问题对行业发展潜在的威胁。本文的结论对于保障我国大数据技术服务产业健康发展,加快培育我国大数据技术服务提供企业的核心竞争力有较高的现实意义和参考价值。     

浅谈大数据时代的数据挖掘和数据可视化

大数据时代下数据量的爆炸式增长,使得分析和解读大数据显得尤为重要. 阐述了解析数据工具——数据挖掘和数据可视化技术,重点探讨了两者创新性结合的重要意义和实际效果.     

上双对角阵Moore-Penrose广义逆的并行计算

研究用一种叫分而治之的算法以计算上双对角阵的Moore-Penrose 广义逆.同时给出一个数值例子和一个关于并行效率的定理.     

大数据时代科技文献服务发展路径研究

大数据是继云计算、物联网之后IT产业又一次颠覆性的技术革命,大数据挖掘和应用可创造出超万亿美元的价值。大数据时代的来临对文献服务也提出了更高的要求。本文从科技文献服务面临的困境、大数据时代的机遇与挑战、科技文献服务转型与升级三个方面来阐述。