基于云计算和物联网的网络大数据技术研究

为了使网络大数据应用的范围更广,更大程度地提高网络数据存储与管理精度,减少网络数据处理与控制的时间,需要对网络大数据进行研究。当前的网络大数据研究方法多是采用Hadoop基础架构对网络大数据进行研究,在数据存储中没有设定具体的安全存储指标,无法得到数据安全存储指标权重,存在数据存储安全性能低,网络大数据研究精度偏差大等问题。为此,提出一种基于云计算和物联网的网络大数据研究方法。该方法首先利用分级网络编码对网络数据进行传输,以传输的数据为基础,采用CRC算法实现网络数据的计算,然后依据分组存储的方式将数据进行存储,最后利用分层逆序叠加定位法对网络数据进行高精度查询,由此完成对网络大数据的研究。实验结果表明,所提方法可以全面具体地对网络大数据进行研究,提高了数据处理精度和网络数据计算速度,增加了网络数据存储空间容量和查询效率,减少了网络数据运行时的丢失率,扩展了网络数据的运作范围,为后续网络大数据的研究提供了强有力的依据。     

基于模糊处理的医疗信息数据存储系统的设计

为了提高医疗技术水平,加快医务人员对医疗信息数据的分析,使医疗信息数据运行更加顺畅,减少数据存储所占空间,需要对医疗信息数据存储系统进行设计。当前的医疗信息数据存储系统对医疗信息数据进行存储时,利用FPGA构建系统硬件,以硬件为基础将医疗信息数据存储,但在存储过程中,没有将冗余数据清除,导致存储空间易满,容量变小,存在正常医疗信息数据无处安放的问题。为此,提出一种基于模糊处理的医疗信息数据存储系统设计方法。该方法首先对医疗信息数据的来源进行统计,根据数据来源实现医疗数据的硬件构造,然后利用医疗信息数据中特征相似数据间的中介点实现数据聚类,完成对医疗信息数据的聚类存储,最后采用高斯混合模型对冗余医疗数据进行特征分析,以分析结果为基础,利用分数阶Fourier变换对冗余医疗信息数据进行删除操作,由此完成了基于模糊处理的医疗信息数据存储。实验结果证明,所提方法增加数据存储空间容量,减少对冗余数据的存储,加快医疗信息数据的存储速度,提高数据存储精度,为该领域研究发展提供强有力的依据。     

高能同步辐射光源磁铁数据库系统的设计

高能同步辐射光源(HEPS) 磁铁数据库系统的开发过程包括数据库设计、数据库创建以及用于存储查询的网页管理系统的整体结构设计和开发。根据对磁铁相关数据格式和功能需求的调研, 整个系统采用MySQL数据库, 将HEPS的磁铁相关数据规范统一地存储, 包括磁铁设计参数、磁铁设备信息和磁铁测量数据等。同时, 开发了一套基于web的数据录入、查询管理系统, 能够提供便捷的数据展示、数据获取等功能, 并可以连接HEPS命名数据库、参数数据库等, 对于磁铁设备的安装、运行和维护以及HEPS整体的设备信息管理具有重要的意义。     

红外光电立靶数据库的设计与应用

为了解决靶场测试中数据丢失现象的问题,建立了红外光电立靶系统数据库。通过对红外光电立靶数据库的总体设计进行了研究,定义了数据库的结构,并对数据库的建立方法进行了约定,实现了对数据的存储、查询和管理,数据查询方便、快捷。分析和应用结果表明红外光电立靶数据库为软件测试系统提供了可靠的数据支持,便于对测试结果进行统计分析,提高红外光电立靶测试系统的质量与水平。     

基于有序NPsim矩阵的颜色近邻搜索

基于光谱表示法颜色近邻搜索的核心是高维向量近邻搜索,相似性度量和索引树构建是影响其性能的关键,前者存在等距性问题,后者存在构建困难、查询效率低、不易动态调整等问题,从而严重影响颜色近邻搜索算法的性能。使用NPsim函数计算颜色相似性,结合有序矩阵组织颜色空间数据,提出一种基于有序NPsim矩阵的颜色近邻搜索算法。首先,计算颜色空间中所有颜色之间的NPsim值,构建反映所有颜色相似性关系的NPsim矩阵;然后,按照每种颜色与其他颜色的相似性,对NPsim矩阵的每行元素降序排列,从而得到反映每种颜色与其他颜色相似性大小关系的有序NPsim矩阵;最后,对于颜色空间中任意给定的颜色,根据它在有序NPsim矩阵中的行号,就能够直接找到该颜色的所有近邻。采用蒙赛尔全光泽色系光谱构建有序NPsim矩阵,同时建立KD树和SR树,分别进行K近邻搜索,并从精度和速度两方面比较。在精度方面,本算法得到的颜色近邻与查询颜色距离最近、相似性最好,存在逆序现象的近邻个数最少;在速度方面,构建有序NPsim矩阵的时间比构建KD树和SR树的时间要长,但近邻搜索速度是KD树/SR树的1万倍左右,而且与K值无关;此外,构建有序NPsim矩阵易于并行化,而构建KD树和SR树不易并行化,并行化后构建有序NPsim矩阵的速度会超过构建KD树和SR树的速度。实验结果表明该方法适用于颜色近邻搜索。     

个人健康管理系统数据库的设计与实现

个人健康管理系统能够帮助人们获得大量有价值的健康信息,为了实现一款安全、高效的个人健康管理系统,在充分考虑用户实际需求的前提下,对该系统数据库进行了设计与实现。首先对系统数据库进行了全面的需求分析,然后进行概念结构设计,形成实体联系(E-R)图,并将(E-R)图进行逻辑结构的转换,根据三范式的要求形成数据关系表,同时,在设计过程中通过牺牲一定存储空间的反范式操作,来换取更加快速的查询速度。通过上述方法,最终设计并实现了一款个人健康信息数据库。该数据库能够满足个人健康管理系统的实际开发需求,并且保证系统的查询运行效率,让用户能够更加方便,快捷的使用该系统对健康数据进行管理,达到帮助用户获得更多、更有价值的健康信息的目的。     

基于LabVIEW的水质监测中心软件设计

针对目前我国的水质污染情况严重,水质监测手段相对落后的现状,设计了基于LabVIEW的多功能水质监测上位机软件。系统采用网络通信方式,从物联网云平台上获取数据,并结合MATLAB、Access数据库和Elman神经网络技术,分别设计出了系统概述模块、数据接收模块、水质报警模块、数据存储模块、记录查询模块和数据预测模块,完成了数据接收、存储、查询、预测等功能。测试结果表明,该系统稳定可靠,各功能模块均能正常运行,达到了软件设计标准,实现了预期的功能。     

基于B/S架构的“神龙一号”数据库系统的实现

"神龙一号"数据库系统采用B/S体系架构,位于服务器的动态Web应用软件采用ASP.NET技术开发,并根据Web应用程序和ASP.NET技术的特点,把Web应用程序划分为用户界面层、业务逻辑层和数据访问层3个基本的层次;加速器状态以及实验过程中产生数据采用数据库管理系统SQL Server管理;同时应用ADO.NET技术实现服务器应用软件对数据库的访问。"神龙一号"数据库系统设计了依据实验号和试验时间对机器状态、控制的参数、测试信号波形等数据的查询引擎,以B/S架构为基础开发的"神龙一号"数据库应用系统满足了实验人员对数据存储、管理、浏览、查询以及离线分析和利用数据进行二次开发的要求。     

HLS-II移动端数据查询系统开发

合肥光源（HLS-II）是以真空紫外和软X射线为主的专用同步辐射光源,作为用户装置,对运行性能有很高的要求。为提高数据查询的实时性与便捷性,满足工作人员及时掌握装置运行状态的需求,基于Web技术开发了HLS-II移动端数据查询系统。该系统在EPICS环境下进行开发,以IOC作为实时数据源,以HBase数据库作为历史数据源,以Phoebus Alarms作为报警数据源,以MySQL数据库存储用户管理信息。整个系统采用前后端分离的模式进行设计,系统后端采用Spring Boot框架和Node.js环境进行开发;系统前端以Vue.js框架开发,使用lib-flexible弹性布局方案和postcss-pxtorem插件,以适配不同种类的移动设备。测试表明,HLS-II移动端数据查询系统信息更新流畅,操作直观方便,达到了设计要求。     

物联网环境下Web数据库异常数据检测方法研究

物联网环境下web数据库网络承载着不同的网络载体和网络信道,web数据库通过云储存的形式来实现资源共享,云储存产生的异常数据会给网络信息web数据库空间带来一种危机感和存储数据容量空间的不足,所以对物联网环境下web数据库异常数据的检测要求更精准。传统的异常数据检测方法采用简化梯度方法进行web数据库异常数据检测,对含有干扰频率成份的web异常数据不能准确的去除,检测性能低。为此,提出一种基于时空关联的分布式的web数据库异常数据检测方法,通过与集中式算法的精度和消耗量进行对比,仿真实验表明,所提方法进行异常数据检测,减少了web数据的能量消耗,信号幅值大于干扰噪声数据幅值,具有较好的抗干扰性能。     

基于分布结构自适应筛选的数据库存储优化设计

通过对数据库的存储结构优化设计,提高数据库的吞吐量。传统方法采用存储节点校验数据适应度分区的数据库存储模型,数据库中存在重复冗余数据,不能自适应滤除,导致数据存储开销较大。提出了一种基于分布结构自适应筛选的数据库存储优化模型,首先进行数据库的存储机制和分布式数据结构分析,采用相空间重构方法进行存储空间的结构分布重组,采用分布结构自适应筛选方法对提取的数据信息流进行重复冗余数据滤波处理,改善数据在数据库存储空间中的结构分布,实现数据库存储优化。仿真结果表明,采用改进的方法进行数据库构建,能提高数据库存储吞吐量,降低数据存储开销,提高数据库的访问和调度性能,展示较好的应用价值。     

高速视频硬盘记录系统分析

为了提高视频记录速度,通过分析视频记录系统的数据通道,找出通道的瓶颈所在;通过研究文件大小与存储速度的关系,采用RAID 0技术和文件合成与分割技术提高硬盘的存储速度,改善了系统的数据通道,最终达到了提高视频记录系统的整体速度,保证了记录数据的实时性和完整性.     

基于数据挖掘的高校管理信息系统设计与实现

高校事务信息的数据规模较大,更新速度较快,复杂度较高,需要设计有效的高校管理信息系统,提高信息管理能力。传统的高校管理信息系统设计采用嵌入式Visual Basic的信息管理系统构架方法,系统的信息再植入能力和多线程处理性能不好,提出一种基于多元特征数据挖掘和嵌入式Linux内核的高校管理信息系统设计方法。首先在嵌入式Linux的核单元中进行高校管理信息系统总体设计和文件配置,进行系统的功能模块分析和技术指标描述。设计基于相空间重构和关联特征提取的数据挖掘算法,进行高校管理信息的有用特征挖掘和提取。以数据挖掘结果进行程序加载和引导,进行高校管理信息系统的软件开发和设计,主要包括程序加载模块、数据存储模块、交叉编译模块以及网络通信模块的设计,实现基于数据挖掘的高校管理信息系统的改进设计。实验结果表明,采用该系统进行高校管理信息的挖掘和存取调度,具有较好的可靠性和人机交互性,系统的吞吐性能和执行时间开销等指标具有优越性。     

基于云计算的大数据自动分类处理系统设计

随着现代网络技术不断进步,系统数据量也在逐渐增多。传统的大数据自动分类处理系统已经无法满足现阶段用户需求,其软件与硬件的设计都比较单一,存在能源消耗大、分类速度慢、处理时间长、内存占用率高等问题,为此,提出基于云计算的大数据自动分类处理系统的设计。首先设计系统硬件结构,主要包括数据采集器、数据处理器以及数据自动存储模块,并详细的介绍了各硬件结构;然后利用时域特征提取数据的算法对频域特征数据进行提取,从而实现数据自动分类处理系统的软件设计;最后对两种系统性能进行对比实验。实验结果证明,基于云计算的大数据自动分类处理系统的资源不仅占用率低,内存消耗小,而且数据库内存较大。该系统不但可以提高数据自动分类精准度,还能加快数据分类速度,从而使系统拥有更好的分类性能。     

岩心光谱扫描仪数据处理应用研究

钻探是地质勘探的重要手段之一,近年来,随着我国地质事业的发展,大量岩心的存放和共享成了亟待解决的问题,研制岩心光谱扫描仪,实现岩心数字化解决了这一问题。然而,岩心光谱数据和图像数据的大量产生,对数据处理又提出了新要求。根据光谱学原理和光谱分析方法,对岩心扫描仪的光谱数据进行光谱分析和蚀变矿物填图,可以为地质科研、矿床分析和外围找矿提供依据。岩心图像也是岩心信息不可缺少的部分,由于岩心扫描仪探测器的局限性、光照条件以及岩心圆柱形的影响,会造成采集到的岩心图像光照不均和辐射畸变。使用非线性的双边滤波法来锐化图像,然后用黑白板定标的方法校正岩心图像,使岩心图像更加接近真实状况。用角点检测法进行特征点检测,完成了图像自动拼接工作,把一张张岩心图像按照岩心钻孔的顺序拼接成岩心柱和岩心盘,使岩心图像显示更直观。矿物的光谱分析是岩心扫描技术的核心,矿物不同,其特征吸收峰的位置也不同。常采用的矿物检索方法是吸收峰位匹配法,该方法适合混合矿物光谱检索。峰位匹配的依据是标准数据库,提出了分类数据库检索法,即根据矿物类型的不同,把标准数据库分为泥化蚀变矿物库、斑岩型蚀变矿物库、绢云母化蚀变矿物库等子数据库,根据样品图像及所处地质环境判断,选择合适的子数据库进行检索分析。文中进行两个实验,分别使用标准数据库和分类数据库分析同一样品,其分析结果表明准确率后者更高;使用标准数据库和分类数据库对同一批样品（141个样品）进行处理,用时分别是231和44 s。实验证明：分类数据库法不仅可以提高检索的准确度,还能大大加快检索速度,是准确、快速检索海量数据的有效方法。该方法是光谱检索中新颖、独特、有效的方法,是本文的创新之处。矿物光谱含有丰富的信息,其特征峰的峰强度、峰强比、峰位移、半高宽和反射率分别反应矿物的相对含量、相对温度、阳离子交换情况、结晶度和颜色等信息,提取同一批矿物的这些信息,对比分析,可获得成矿模型,揭示成矿规律。以安徽宣城一个钻孔为例,对岩心光谱扫描仪的数据进行自动图像拼接、光谱分析和蚀变矿物填图。从蚀变矿物信息提取图分析看出,该地区是酸性、低温的地质环境,低温区岩石颜色较深,在低温区中间也有高岭石、蒙脱石,说明具有良好的储油环境。经实践证明,该方法不仅效率高,能节省大量人工工作量,还能得到高质量的岩心盘拼接图、岩心柱状拼接和蚀变矿物信息提取图,是地质工作者处理岩心数据实用、可靠的方法。