基于Hadoop的农产品安全监控平台的设计

针对当前传统数据库已经不能满足海量农产品安全监控信息的存取及处理需求,借鉴Hadoop平台的分布式文件系统和Map/Reduce并行计算方法设计了农产品安全监控平台的框架,在此基础上,提出了一种用于监测农产品各项指标的Map/Reduce算法;最后通过Linux集群技术,搭建了一个基于Hadoop的农产品安全监控数据存储处理实验性平台,该平台能够有效地对海量农产品数据进行及时存储与处理。实验最终结果表明,相比传统的数据库,该平台能够大幅提升海量农产品数据的吞吐率及数据处理性能,由此验证了平台的合理及有效性。     

ABC_Kmeans聚类算法的MapReduce并行化研究

随着数据的海量增长,数据聚类算法的研究面临着海量数据挖掘和处理的挑战。针对K-means聚类算法对初始聚类中心的依赖性太强、全局搜索能力也差等缺点,将一种改进的人工蜂群算法与K-means算法相结合,提出了ABC_Kmeans聚类算法,以提高聚类的性能。为了提高聚类算法处理海量数据的能力,采用MapReduce模型对ABC_Kmeans进行并行化处理,分别设计了Map、Combine和Reduce函数。通过在多个海量数据集上进行实验,表明ABC_Kmeans算法的并行化设计具有良好的加速比和扩展性,适用于当今海量数据的挖掘和处理。     

异构环境下基于双重预取的Hadoop调度算法

Hadoop处理海量数据时,无论是Map任务还是Reduce任务都需要耗费大量的时间传输数据,故提出一种基于双重预取的调度算法;该算法通过估算节点上任务执行的进度来预测Map任务的执行节点,然后通知节点提前预取所需的数据,并且在Map任务完成的数量达到预定值时,开始为Reduce任务预取部分数据;由于在异构的环境下集群中节点的性能各不相同,为此采取了改进的预测模型,以提高任务进度判断的准确性;实验证明,本算法在作业响应时间等方面优于现有的调度算法。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

Hadoop云平台下的基于用户协同过滤算法研究

随着互联网的高速发展,海量新闻的个性化推荐成为一个重要课题,针对海量新闻的个性化推荐算法进行研究,以MapReduce的并行方法设计了基于Hadoop云平台下的协同过滤算法,利用MapReduce的并行方法,将传统的协同过滤算法并行化,并详细说明了并行化步骤和实现细节。最后用实验结果验证了改进的并行化的协同过滤算法在运行速度和执行效率方面有明显的提高,更适合处理大数据。     

基于Map-Reduce并行构架和AE的大数据指纹监控识别算法

传统的指纹识别监控方法在应用到以海量、在线和增量为特征的大数据环境中时,不能自动高效地进行识别,且识别率和识别精度都不高。由此设计了一种基于Map-Reduce并行框架和AE的大数据智能监控指纹识别算法。首先,描述了Hadoop和Map-Reduce实现并行计算的原理;然后,设计了基于AE和BP神经网络的识别模型,采用AE进行指纹图像自动特征提取,并提出了一种基于比较差异算法对AE进行参数初始化的训练算法,采用BP神经网络进行具体识别;最后,将识别过程分解为Map函数和Reduce函数,并对函数的具体功能进行了详细定义。在Map-Reduce并行框架下对FVC2004中的指纹数据库进行实验,实验结果表明了文中方法能自动、高效地进行指纹识别,与其他方法相比,具有识别效率高和识别精度高的优点,具有较大的优越性。     

基于云计算的并行K-means聚类算法研究

目前数据呈爆炸式增长,海量存储状态,给聚类研究带来了诸如计算复杂性和计算能力不足都很多问题;而云计算平台通过负载均衡,动态配置大量的虚拟计算资源,有效地突破了耗时耗能的瓶颈,在海量数据挖掘中体现出了其独特的优势;文章深入研究了基于云计算平台Hadoop的并行K-means算法,并结合MapReduce分布式计算模型,给出了算法设计的方法和策略,包括MapReduce处理的map、shuffle和Reduce 3个过程,仿真结果表明K-means并行算法的效率较高。     

基于朴素贝叶斯算法的社交网络数据挖掘技术研究

近年来,随着互联网技术飞速发展与普及,大量社交网络平台迅速崛起。社交网络平台拉近了日常人际关系,提供了便捷的信息通讯交流通道。同时,针对社交网络平台数据挖掘的技术研究成为不可缺少的网络数据研究领域一部分。现有社交网络数据挖掘技术所采用的传统数据挖掘算法与数据分离模式,存在大数据多元特征条件下,数据挖掘准确度降低、挖掘分类逻辑混乱等现象。针对问题产生根源,提出基于朴素贝叶斯算法的社交网络数据挖掘技术研究。采用基于朴素贝叶斯算法设计的PCIE-FN社交网络数据挖掘平台进行全面化的深入性解决。通过实验证明,提出的基于朴素贝叶斯算法的社交网络数据挖掘技术研究,各项数据满足社交网络数据挖掘日常应用要求。     

基于Hadoop大数据平台和无简并高维离散超混沌系统的加密算法

针对目前大数据环境中存在的数据安全问题,提出一种基于Hadoop大数据平台和无简并高维离散超混沌系统的加密算法.算法采用流密码对称加密方式,在Hadoop平台上读取存储于HDFS(Hadoop distributed file system)的大数据,进行分片处理和MapReduce编程后,用Map函数实现数据并行加密和解密,通过Reduce函数实现数据的合并操作并存储于HDFS.该算法具有较好的执行效率.与正李氏指数发生简并的低维混沌系统相比,无简并高维离散超混沌加密算法能提高系统安全性能,李氏指数均为正并且足够大,具有更好的统计特性,可通过严格的TESTU01测试,并行加密的密文之间互相关性很小.密钥参数众多使得估计或辨识难度增大.在密文闭环反馈条件下,具有抵御已知明文攻击和选择明文攻击的能力.     

基于双混沌系统的大数据环境并行加密算法设计 

为了克服大数据在采用串行加密方式时具有的加密效率低的问题,设计了一种基于双混沌系统的大数据环境的并行加密算法。首先,在对经典的Map-Reduce分布式并行计算框架进行研究的基础上,设计了大数据环境的并行加密模型。然后,设计了改进的Logistic映射和Tent映射构成双混沌系统,在此基础上,设计了Map函数、Sort函数和Reduce函数实现并行加密,在Map函数中通过Logistic映射和Tent映射的不断迭代计算加密密钥或解密密钥,实现明文到密文或密文到明文的转换,在Sort 函数对由Map函数输出的键值对进行排序并剔除重复的数据块,在Reduce函数中对加密后的密文数据块或解密后的明文数据块进一步合并构成输出数据,并生成Logistic映射和Tent映射的迭代次数初始值并保存在历史数据信息中。仿真实验表明：文中设计的基于双混沌系统的Map-Reduce并行加密模型能高效地进行数据加密或解密,能提高数据安全性和加密效率,具有较强的可行性。     

大数据分析技术在装备监测系统中应用研究

针对装备状态监测系统中长期积累的大量数据缺乏有效分析手段、利用率低等问题,对装备监测系统中存储的在线监测数据和积累的历史数据,建立可分析挖掘的大数据集;运用数据分析和机理分析的方法建立比较模型,采用异步信息融合的算法对数据进行处理,利用大数据的多尺度特性研究装备生命周期的分析预测、优化运行、预知维修等目标,提高了装备运用知识的获取速度,有利于构建完整的装备生命周期预测诊断体系。     

核物理数据智能化管理和网络共享的研究

通过对主要的国际核物理基本数据资源收集、遴选和研究分析，建立了各类数据集合的完整数据字典，以关系模型理论和面向对象编程技术为指导，研究设计了不同种类的关系型核物理数据库的管理和检索工具，实现了由核物理基础数据、关系型数据库管理系统、数据应用服务软件和网络与数据库安全保障等部分组成的核物理数据智能化管理与共享信息系统.基于Linux+Apache+SSL+PHP+MySQL的系统配置，将在线计算技术和数据可视化研究相结合，实现了三大类型的9个关系型的国际核物理数据库的网上发布，向用户提供包括在线检索、模糊查 关键词： 核物理基础数据 关系型数据模型 数据可视化 在线数据服务     

激光等离子体物理实验数据格式研究

 鉴于现行激光等离子体物理实验数据属于无格式的原始数据，从数据分析的角度出发，在研究总结“星光”和“神光”实验数据的基础上，合理规划了激光等离子体物理实验数据文件格式，并据此重新编写了数据采集程序和数据格式转换程序。叙述了新格式数据文件的优点及应用。     

基于LabVIEW的便携式推力轴承数据采集系统设计

设计了基于LabVIEW的便携式推力轴承试验机测控系统,实现了对轴承系统推力瓦的温度、油膜厚度、电机转速等试验数据的实时采集,对实时数据显示界面的截屏以及对试验数据的分析、处理、记录和保存等功能,同时利用DataSocket技术实现不同计算机之间的数据共享。试验结果表明：基于LabVIEW的便携式轴承试验机测控系统具有运行稳定可靠、控制精度高、系统操作简单等特点。     

米散射激光雷达剖面数据三次样条垂直水平插值法

传统的空间数据插值方法在米散射激光雷达剖面扫描数据的距离高度显示图可视化应用方面具有一定的局限性.本文分析了米散射激光雷达剖面扫描数据以仰角为基础的空间位置关系与大气参数的空间分布特性,分别在垂直与水平位置上合理选取参考数据,给出位置相关性权重,基于三次样条函数法进行数据变化趋势的平滑性修正,完成缺失数据插值.实验结果表明,该方法能够有效提高米散射大气激光雷达扫描数据空间插值的准确性,插值数据误差小,距离高度显示图图形趋势过度平滑,符合大气参数的整体变化规律.     

基于图像数据封装包文的数据采集方法

针对如何在工业应用中找到一种实现周期更短和更低成本的图像数据采集方法进行了研究。通过分析以太网帧格式和JPEG图像数据特点,给出了一种对JPEG图像帧进行分片并对分片进行数据封装的方法,在此基础之上实现了基于图像数据封装包文的数据采集设计。最后在FPGA环境中对该设计进行了实现,此实现成功应用到了工程项目当中。实践表明,基于图像数据封装包文的数据采集方法能够在不添加外置存储器等复杂器件的情况下实现稳定的、实时的JPEG图像数据采集。     

A Memory-Efficient Encoding Method for Processing Mixed-Type Data on Machine Learning

The most common machine-learning methods solve supervised and unsupervised problems based on datasets where the problem’s features belong to a numerical space. However, many problems often include data where numerical and categorical data coexist, which represents a challenge to manage them. To transform categorical data into a numeric form, preprocessing tasks are compulsory. Methods such as one-hot and feature-hashing have been the most widely used encoding approaches at the expense of a significant increase in the dimensionality of the dataset. This effect introduces unexpected challenges to deal with the overabundance of variables and/or noisy data. In this regard, in this paper we propose a novel encoding approach that maps mixed-type data into an information space using Shannon’s Theory to model the amount of information contained in the original data. We evaluated our proposal with ten mixed-type datasets from the UCI repository and two datasets representing real-world problems obtaining promising results. For demonstrating the performance of our proposal, this was applied for preparing these datasets for classification, regression, and clustering tasks. We demonstrate that our encoding proposal is remarkably superior to one-hot and feature-hashing encoding in terms of memory efficiency. Our proposal can preserve the information conveyed by the original data.     

基于计算机网络技术的实验数据处理系统

系统能够在不需改变程序的情况下,对不同的实验项目均可实现实验预习、演示、实验数据在线检查、自动批阅实验报告等功能。     

用VC++语言编程实现电子衍射实验的数据采集与处理

使用数码相机拍摄电子衍射图片，用VC＋＋语言编写程序进行实验的数据采集与处理，从而验证德布罗意关于微观粒子也具有波粒二象性的理论假设．     

云计算环境下不可靠数据恢复方法研究

由于云计算环境下不可靠数据中包含有利用价值的信息,但直接使用可能会给计算机带来负担,所以需要对云计算环境下不可靠数据进行恢复。当前大多数方法对不可靠数据进行复写时,利用地址映射层分配新的写入地址,因此不可靠的数据在一段时间内仍存在于云存储中,在这样的系统上实现对其的保护,不需额外保存数据的更新信息。通过FLASH的带外区记录时间戳,在FTL的映射项中增加时间戳信息,在不跟踪映射表每次更新的情况下,达到数据快速恢复的目的。但这种方法对云存储系统性能产生不利影响。为此,提出一种基于张量Tucker阈值的云计算环境下不可靠数据恢复方法,首先利用云计算环境下节点自身的随机秘钥生成器产生随机会话密钥,并对不可靠数据HMAC报文鉴别码进行计算,从而实现保护和重构。在此基础上,将不可靠数据的阈值分解过程与奇异阈值方法相结合,从而得到Tncker阈值算子,实现动态的数据恢复,恢复过程中利用Tucker阈值算子与增广拉格朗日乘子方法相结合的方式选择n-秩相似张量,提出基于增广拉格朗日乘子方法的不可靠数据Tucker阈值恢复方法,完成云计算环境下不可靠数据恢复。实验证明,所提方法能够有效提高不可靠数据恢复的准确性,降低数据恢复的能耗和时间,具有较强的可行性,为该课题的应用研究提供理论依据。