网络计算机模型下海量大数据存储系统设计

对网络计算机模型下海量大数据进行安全稳定的存储,可以提高网络计算机的使用价值,增加其使用周期。但目前的海量大数据存储方法在存储过程中,无法做到对其进行灵活高效的存储,存在大数据存储分布密度较低,存储开销较大等问题。为此,以网络计算机模型体系结构为基础,提出了一种基于ARM的海量大数据存储系统设计方法。该设计方法先利用ARM芯片对网络计算机模型下海量大数据存储系统进行硬件构造,将网络海量大数据中的可利用与不可利用数据进行分类处理,采用VISA结构根据数据分类结果对大数据存储系统软件部分进行设计,依据大数据调度模型和存储相似度特征对大数据存储的时间,质量等方面进行计算,利用计算结果对大数据传输的阈值以及分布密度进行记录,最后根据循环分段的计算方式进行冗余大数据特性压缩,并对海量大数据的常规数据和冗余数据进行存储。实验仿真证明,所提方法提高了海量大数据存储的兼容性,增强了大数据存储的精确性和灵活性。     

基于分布结构自适应筛选的数据库存储优化设计

通过对数据库的存储结构优化设计,提高数据库的吞吐量。传统方法采用存储节点校验数据适应度分区的数据库存储模型,数据库中存在重复冗余数据,不能自适应滤除,导致数据存储开销较大。提出了一种基于分布结构自适应筛选的数据库存储优化模型,首先进行数据库的存储机制和分布式数据结构分析,采用相空间重构方法进行存储空间的结构分布重组,采用分布结构自适应筛选方法对提取的数据信息流进行重复冗余数据滤波处理,改善数据在数据库存储空间中的结构分布,实现数据库存储优化。仿真结果表明,采用改进的方法进行数据库构建,能提高数据库存储吞吐量,降低数据存储开销,提高数据库的访问和调度性能,展示较好的应用价值。     

基于云计算和物联网的网络大数据技术研究

为了使网络大数据应用的范围更广,更大程度地提高网络数据存储与管理精度,减少网络数据处理与控制的时间,需要对网络大数据进行研究。当前的网络大数据研究方法多是采用Hadoop基础架构对网络大数据进行研究,在数据存储中没有设定具体的安全存储指标,无法得到数据安全存储指标权重,存在数据存储安全性能低,网络大数据研究精度偏差大等问题。为此,提出一种基于云计算和物联网的网络大数据研究方法。该方法首先利用分级网络编码对网络数据进行传输,以传输的数据为基础,采用CRC算法实现网络数据的计算,然后依据分组存储的方式将数据进行存储,最后利用分层逆序叠加定位法对网络数据进行高精度查询,由此完成对网络大数据的研究。实验结果表明,所提方法可以全面具体地对网络大数据进行研究,提高了数据处理精度和网络数据计算速度,增加了网络数据存储空间容量和查询效率,减少了网络数据运行时的丢失率,扩展了网络数据的运作范围,为后续网络大数据的研究提供了强有力的依据。     

基于谱分解的模糊C均值算法在彩色图像分割中的应用

针对模糊C均值聚类算法对初始值敏感、易陷入局部最优以及谱聚类算法无法处理样本量过大的问题,提出了一种将模糊C均值聚类算法与谱聚类算法相结合的模糊谱聚类算法应用于彩色图像分割。大致分为三步,第一步对图像进行预处理,将颜色空间由RGB空间转换为Lab空间;第二步对特征空间进行冗余模糊C均值聚类算法得到冗余类;第三步由冗余类的隶属度矩阵和聚类中心矩阵得到冗余类的特征空间,并根据贴进度和传递闭包将该特征空间转换为冗余类的相似度矩阵进行谱聚类,完成冗余类的合并。实验结果表明,与模糊C均值聚类算法相比,模糊谱聚类算法对于初始值敏感问题、易陷入局部最优以及只能识别团状的蔟得到了很好的解决,从而使彩色图像分割结果更加合理。     

一种基于特征提取的点云精简算法

针对激光点云数据中存在的大量冗余信息,造成传输、存储等后续处理环节付出多余的硬件和时间成本的问题,提出了一种基于特征信息的点云精简方法。利用自适应近邻点进行PCA计算点云法矢;利用冯.米塞斯分布进行边缘点提取,对非边缘点以点法矢为基础赋予其距离权重进行阈值判断,提取特征点;划分空间均匀网格,以网格为单元计算法矢均值,提取潜在特征点;对网格非特征点进行单点提取。以标准的Bunny和工件模型为对象进行了MATLAB仿真实验,所提算法与传统非均匀网格法、聚类法、三角面片消减法比较:在精简比1∶5、1∶10、1∶15、1∶20情况下,最大误差降低27%以上,平均误差降低12%以上。实验结果表明所提算法在特征信息较多的模型处理上具有更好的精简能力。     

基于MapReduce的K-means聚类算法的优化

针对传统的聚类算法K-means对初始中心点的选择非常依赖,容易产生局部最优而非全局最优的聚类结果,同时难以满足人们对海量数据进行处理的需求等缺陷,提出了一种基于MapReduce的改进K-means聚类算法。该算法结合系统抽样方法得到具有代表性的样本集来代替海量数据集;采用密度法和最大最小距离法得到优化的初始聚类中心点;再利用Canopy算法得到粗略的聚类以降低运算的规模;最后用顺序组合MapReduce编程模型的思想实现了算法的并行化扩展,使之能够充分利用集群的计算和存储能力,从而适应海量数据的应用场景。文中对该改进算法和传统聚类算法进行了比较,比较结果证明其性能优于后者。这表明该改进算法降低了对初始聚类中心的依赖,提高了聚类的准确性,减少了聚类的迭代次数,降低了聚类的时间,而且在处理海量数据时表现出较大的性能优势。     

基于空谱联合聚类的改进核协同高光谱异常检测

针对空谱信息中普遍存在的异常干扰现象,提出了基于空谱联合聚类的自适应核协同表示高光谱异常目标探测算法.算法充分发挥了基于密度的聚类算子(Density-Based Spatial Clustering of Applications with Noise,DBSCAN)对于异常点的筛选特性,在DBSCAN聚类去除异常波谱的基础上,采用分波段子集随机投影变换对数据降维处理,以减少谱噪声和谱冗余,并采用DBSCAN聚类消除了局部背景像元中的杂乱点对协同探测算法结果的干扰.研究了背景离散度对核参选择的影响,比较了不同的核估计方法,并提出基于平均差的自适应核协同算法.采用该方法对AVIRIS和ROSIS的三组数据进行仿真实验并与现有算法进行了对比,结果表明该算法表现出较好的探测性能.     

基于PSO的二阶段光谱模糊聚类研究

在海量的天体光谱数据中利用无监督聚类学习方法将天体自动分类具有更加诱人的前景。针对当前聚类方法存在的缺点,提出一种高效的高维数据硬划分算法,在此基础上提出了一种分阶段模糊聚类方法。第一阶段,利用硬划分算法对数据聚类,克服了模糊聚类算法对初始值敏感的缺点。第二阶段,以第一阶段运算结果作为初始值,进行模糊聚类的,并将微粒群算法引入模糊聚类,从而保证了聚类结果的全局最优性。实验结果表明,该方法用于天体光谱聚类是可行的、有价值的。     

存储技术的新突破——进化海量存储系统

本刊讯 由谢长生、曹强、吴非、谭志虎、万继光、黄建忠等人组成的“进化海量存储系统关键技术与实现方法”项目组针对海量网络存储系统，在数据组织方式和组织策略上提出了多项发明技术。针对存储系统物理和逻辑的组织方式是一种静态组织结构，不能很好地刻画处于不断变化之中的系统，提出了一种进化存储系统及其进化方法、自适应数据存储优化分布和存储设备数据再生进化方法，获得3项发明专利；还提出了一种存储系统数据分布及互转换和一种基于连续度聚类和时间序列的IO区域预取的方法，申请2项发明专利。针对数据存储安全性，提出了一种在内核态文件系统层的加密读写和一种用于存储系统的全局缓存管理的方法，申请2项发明专利。以上技术都已投入使用，从多角度提高了网络存储系统的性能，提供了多种关键技术缓解I／O瓶颈的方法。采用部分上述技术和方法形成的“采用零拷贝技术的多协议磁盘阵列控制器”为国内首款具有自主知识产权的磁盘阵列硬件控制器，并已成功应用于军用加固磁盘阵列和民用磁盘阵列系统中。     

虚拟环境下大数据智能并行聚类方法研究

为了减少虚拟环境下大数据运行时间,数据运行时能够反映出一定的规律性和特殊的分类性,需要对虚拟环境下大数据进行智能并行聚类。当前大数据聚类方法是根据K-均值聚类方法不断地进行大数据样本分类的调整,经过多次计算调整后达到数据并行聚类的效果,但每当有新的大数据流入时,都需要对当前全部数据进行K-均值聚类,计算过程复杂,聚类效率低。为此,提出了一种基于MapReduce的虚拟环境下大数据智能并行聚类方法。首先在虚拟环境下大数据中抽取小规模数据集并确定大数据簇的质心,采用Single法对所抽样的小规模数据进行聚类,获得虚拟环境下大数据属性的均值,利用最小距离分类规则将大数据属性的均值快速地向数据簇的真实中心移动,依据Davies-bouldin指标假设一个数据簇离散度参数,在此参数值中选出大数据智能并行聚类相似度最大值,最后利用聚类相似度最大值得到Davies-bouldin指数,以Davies-bouldin指数为基础将多个类别的质心间距以及聚类离散度指定阈值合并为一个类并进行迭代计算,得到数据最佳聚类中心位置,由此完成虚拟环境下大数据智能并行聚类。仿真实验结果证明,所提方法提高了大数据智能并行聚类的灵活性和普遍适用性,减少了聚类时间,并适合应用于教育技术领域,不仅可以使教育技术网络数据更加合理化,而且更加规范化。     

基于几何控制的公路施工智能监控系统设计

为了更好的保证公路施工质量,保障施工人员的生命财产安全,建设平安和谐社会,为广大群众提供一个便利、舒适、安全地空间,需要对公路施工监控系统进行设计。当前的公路施工监控系统设计方法是利用图像处理板对其进行监控,监控过程中图像处理板的体积太大,没有设置隐蔽性屏障,导致监控盲点多,存在监控整体性能低,监控系统效果差的问题。为此,提出一种基于几何控制的公路施工智能监控系统设计方法。该方法首先确定公路施工监控类型,并对公路施工监控系统进行构造,然后以公路施工监控系统的构造为基础,利用编码感知路由,将各个终端监控的数据信息传输至监控系统中心,最后采用蛇形时隙数据存储算法将公路施工终端的监控信息数据全部存储,由此完成对公路施工的智能监控的系统设计。实验结果证明,所提方法可以对公路施工进行全方位,安全可靠地智能监控,减少了突发事件发生处理时间和监控盲点,增加了公路施工速度,更大程度地保障了施工人员的人身安全,为该领域的研究发展提供了强有力的依据。     

基于云计算的大数据自动分类处理系统设计

随着现代网络技术不断进步,系统数据量也在逐渐增多。传统的大数据自动分类处理系统已经无法满足现阶段用户需求,其软件与硬件的设计都比较单一,存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题,为此,提出基于云计算的大数据自动分类处理系统的设计。首先设计系统硬件结构,主要包括数据采集器、数据处理器以及数据自动存储模块,并详细的介绍了各硬件结构;然后利用时域特征提取数据的算法对频域特征数据进行提取,从而实现数据自动分类处理系统的软件设计;最后对两种系统性能进行对比实验。实验结果证明,基于云计算的大数据自动分类处理系统的资源不仅占用率低,内存消耗小,而且数据库内存较大。该系统不但可以提高数据自动分类精准度,还能加快数据分类速度,从而使系统拥有更好的分类性能。     

基于UML技术的空间基础数据库设计与实现

设计合理的空间基础数据库不仅能提高整个空间数据操作时的性能和效率,而且还可以减少后期的维护修复工作,使整个空间基础数据运行的更加快捷,需要对空间基础数据建立数据库。当前的空间基础数据库设计方法采用ArcSDE数据引擎对空间基础数据进行不断地更新调整,再利用多源空间数据格式转换的技术对空间基础数据库进行设计,存在空间基础数据运行时速度缓慢,计算精度低的问题。为此,提出了一种基于UML技术的空间基础数据库设计方法。该方法首先在空间基础数据库设计中建立空间基础数据索引结构,利用R-树族构建空间基础数据索引树,依据空间基础数据索引树,扫描索引空间基础数据,过滤掉不满足查询条件的空间基础数据对象,使空间数据查询结果可以在额定时间内获得,然后采用空间基础数据点、数据线、以及由数据线组成的区域、一组区域、空间基础数据网络的详细存储方式对空间基础数据进行存储,利用MongoDB驱动程序对矢量空间数据进行存储存储,最后通过对空间基础数据库索引、查询、存储等设计实现了空间基础数据库的建立。仿真实验结果证明,所提方法提高了空间基础数据的建库速度,减少了数据运行的时间,提升了空间基础数据的利用率。     

在计算机中实现三角函数的硬件解算方法

针对目标跟踪中大量存在的三角函数运算,提出在火控计算机中建立三角函数解算单元,采用硬件实现三角函数解算的设想。而三角函数解算单元是一种可以完成正弦函数解算功能的函数芯片。它的设计核心是以角度值为地址,通过硬件查表计算,可对0到90度的正弦函数值进行查表。查表精度可设计到0.001°,最大查表时间即为函数值的解算时间。余弦查表计算是采用正弦同一芯片,可以根据相位差90度的关系进行查表。实践表明三角函数的硬件解算速度快,精度高,可以替代通常方法的函数解算。因此,如果在火控系统中,设计一个地址译码器电路,就可建立多个三角函数芯片解算单元,通过计算机数据指令,实现对多个三角函数值的并行计算,从而提高系统对多个目标的快速跟踪处理能力。     

基于数据挖掘的高校管理信息系统设计与实现

高校事务信息的数据规模较大,更新速度较快,复杂度较高,需要设计有效的高校管理信息系统,提高信息管理能力。传统的高校管理信息系统设计采用嵌入式Visual Basic的信息管理系统构架方法,系统的信息再植入能力和多线程处理性能不好,提出一种基于多元特征数据挖掘和嵌入式Linux内核的高校管理信息系统设计方法。首先在嵌入式Linux的核单元中进行高校管理信息系统总体设计和文件配置,进行系统的功能模块分析和技术指标描述。设计基于相空间重构和关联特征提取的数据挖掘算法,进行高校管理信息的有用特征挖掘和提取。以数据挖掘结果进行程序加载和引导,进行高校管理信息系统的软件开发和设计,主要包括程序加载模块、数据存储模块、交叉编译模块以及网络通信模块的设计,实现基于数据挖掘的高校管理信息系统的改进设计。实验结果表明,采用该系统进行高校管理信息的挖掘和存取调度,具有较好的可靠性和人机交互性,系统的吞吐性能和执行时间开销等指标具有优越性。     

基于CH378嵌入式存储系统设计

随着军事工业飞速发展,高速数据存储设备成为导弹测试领域不可或缺的一部分。通过对导弹测试领域中现有数据存储设备研究发现当今存储系统存在传输速度低、存储容量小、可靠性差、数据易丢失、严重依赖PC机等缺点,首次提出以U盘作为存储介质用于某型号导弹参数测试领域,以最新的USB串口芯片CH378来设计读写U盘,并独特运用FPGA读写大容量的FLASH构成存储系统的数据缓存部分这一设计理念,最终以STM32F103VE单片机控制CH378将缓存数据写入U盘的设计方案。文中详细介绍了基于CH378的嵌入式存储系统软硬件设计,最后通过软件测试U盘存储速度并用信号发生器模拟传感器信号输出,对比U盘和FLASH中数据并对数据解码分析,验证系统达到高速可靠存储等设计要求。     

基于帧频信号的图像存储时序控制方法

针对长时间服役光学设备图像存储系统性能退化和可靠性降低的问题,设计了新的图像存储系统结构。提出了一种基于帧频信号的时序控制方法,以帧频信号为基准驱动系统软硬件工作,结合秒信号、帧频信号与串口时间生成绝对时间,实现了四路独立数据流的同步采集,通过两级缓存机制保证数据采集-打包-存储之间的速率冗余匹配,对图像转移时间误差进行了修正。检测结果表明,系统时序得到了有效控制,长时间采集存储数据稳定可靠不丢帧,时间同步精度优于1ms。     

小型局域网下高校计算机实验室监控系统设计

近年来,全球互联网技术飞速发展,网络技术广泛应用于各个领域。随着网络技术的快速发展,我国各大高校开设计算机实验室,在高校范围内搭建的小型局域网中引入监控系统,辅助高校实验室的日常使用管理工作。传统的监控系统在小型局域网中存在数据资源交互消耗大、数据传输延迟高、视频数据储存空间利用率低等问题,给计算机实验室的日常管理带来不便。针对上述问题,提出小型局域网下高校计算机实验室监控系统设计。对数据交互过程中资源消耗大的问题,采用双协议传输单元进行资源交互算法的改进;对传统监控系统存在的数据传输延迟问题,采用数据阵列重组模组进行数据内部优化处理;采用ViodTM视频压缩单元,对监控视频进行算法核心压缩处理,从问题产生根源进行解决。通过实验证明,提出的小型局域网下高校计算机实验室监控系统设计,具有资源占用小、传输速度快、视频存储率高等特点。