云计算环境下动态数据聚集算法研究

云计算技术的普及带动了数据的增长,为了对云环境下动态数据进行管理,防止数据损坏甚至丢失,方便后续利用,需要对云计算环境下动态数据进行聚集。但目前大多数算法都是基于线性时间概率计数的数据聚集算法,通过数据聚集操作在中间节点预先对数据进行处理,去除数据冗余,减少数据传输,实现节能,对于云计算环境下数据聚集操作存在的重复计数问题,通过研究对副本不敏感的概要结构并优化某些特性,从而完成数据聚集,但这种方法存在占用的存储空间较大,且不能保证动态数据聚集的准确性的问题。为此,提出一种基于粒子群优化算法的云计算环境下动态数据聚集算法,该算法通过对云计算环境下动态数据聚集算法数学模型进行分析,在此基础上,提出基于粒子群优化算法的云计算环境下动态数据聚集算法。首先对云计算环境中的动态数据结构模型进行分析,完成对云计算环境下动态数据的离散样本频谱特征的计算,实现云计算环境下动态数据聚集样本的特征提取和信息模型构建。针对粒子群算法收敛速度慢的问题,本文通过混沌映射方法对其进行优化,通过生成混沌序列,解决粒子群算法存在的问题,利用粒子群优化算法进行特征聚集,从而完成云计算环境下动态数据聚集算法。实验结果表明,本文所提算法能够有效提高动态数据聚集的可靠性和稳定性,降低聚集时间,减少所占内存空间,具有较强的实践性,为该领域的发展创造了条件。     

大数据预处理中属性约简的特性保持分析

伴随着工业及社会信息化程度的增强,各个领域的自动化程度越来越高,大规模及超大规模海量数据应运而生,呈现出大数据特征。这些海量数据在提升行业发展动力的同时,也带来了巨大的挑战性问题—数据可用性。为了从海量数据中甄别出无用信息、挖掘有利于相关领域发展的有价值信息,就需要对其进行数据分析。数据预处理技术可以极大地减少数据分析时的处理量,提高数据分析处理的效率,而属性约简在数据预处理中是一个比较重要的环节。在分析大数据属性特征的基础上,较系统地分析了目前几种主流的属性约简算法,对各类算法的性能进行了剖析,并展望了今后大数据预处理的研究工作思路。     

物联网环境下的差异网络数据库异常数据检测

当前的物联网环境下,各个智能网络的数据库的使用没有统一标准,不同生产商的数据库中的异常数据标准也不同,这就使得传统的以模式识别为基础的网络数据库异常检测方法在进行异常阀值设置时,无法形成统一标准,数据库数据量庞大且存在无序性,无法保证检测的准确性和检测效率。提出基于混沌特征分析算法的物联网环境下的差异网络数据库异常数据检测方法。依据混沌特征分析相关理论构建物联网环境下的差异网络数据库模型,构建一种异常数据的偏差函数,对不同数据库下的异常数据进行偏差统计,通过对偏差函数的统计结果进行最小值求解,根据求解描述最小化的阀值请求,实现物联网环境下的差异网络数据库异常数据的检测。实验结果表明,利用改进算法进行异常数据检测,能够提高检测的有效性与准确性。     

基于云计算和物联网的网络大数据技术研究

为了使网络大数据应用的范围更广,更大程度地提高网络数据存储与管理精度,减少网络数据处理与控制的时间,需要对网络大数据进行研究。当前的网络大数据研究方法多是采用Hadoop基础架构对网络大数据进行研究,在数据存储中没有设定具体的安全存储指标,无法得到数据安全存储指标权重,存在数据存储安全性能低,网络大数据研究精度偏差大等问题。为此,提出一种基于云计算和物联网的网络大数据研究方法。该方法首先利用分级网络编码对网络数据进行传输,以传输的数据为基础,采用CRC算法实现网络数据的计算,然后依据分组存储的方式将数据进行存储,最后利用分层逆序叠加定位法对网络数据进行高精度查询,由此完成对网络大数据的研究。实验结果表明,所提方法可以全面具体地对网络大数据进行研究,提高了数据处理精度和网络数据计算速度,增加了网络数据存储空间容量和查询效率,减少了网络数据运行时的丢失率,扩展了网络数据的运作范围,为后续网络大数据的研究提供了强有力的依据。     

测控数据实时监测软件设计方法研究

测控数据实时监测软件是测控系统中的关键分系统之一,承担着大量测控信息的实时监视任务,由于其监测的数据具有信息量大、发送频率高、种类多样等特点,如何提升软件的性能和效率,成为了测控软件领域的一项重要课题。为实现该软件信息监测功能实时、全面、可靠,从软硬件平台、软件架构和算法设计等方面开展研究。采用多线程设计实现大量并行数据的接收,利用面向对象程序设计方法使数据处理层和展现层分离,对有曲线显示需求的数据存储方法进行了算法优化,从而实现软件的全面效能提升设计。设计的软件经实际环境测试,设计方法能够有效提升软件的效能,保证了测控数据监测功能的实时性和可靠性,增强了测控数据实时监测软件的数据承载能力。同时该方法设计的软件具有较好的可扩展性和可维护性。     

一种适于空间多光谱TDICCD图像压缩算法

针对传统遥感图像压缩算法中小波变换和位平面编码没有考虑图像内容特点而导致多光谱各谱段图像边缘和纹理的模糊的问题,提出一种适于成像谱段数相对较少多光谱TDICCD图像压缩算法。提出的自适应提升DWT可以自适应的选择最佳的提升方向,同时根据图像局部特征使用拉格朗日插值策略进行预测,这种方法可以充分的利用图像的纹理信息。提出的码率控制算法可以根据图像纹理复杂程度进行自适应的码率分配。实验结果表明,提出的压缩算法具有良好压缩性能,对于平滑的图像与传统算法相当,对于边缘和纹理程度复杂的图像,性能高于传统算法,在正常工作压缩比为8∶1时,平均信噪比比传统方法平均提高了3.53 dB。有效的保护了多光谱图像的边缘和纹理信息,非常适于纹理复杂的空间多光谱CCD图像压缩应用。     

基于分形编码的M型恒星光谱次型自动识别

根据天体光谱自身的局部分形特征,对光谱中400~510,600~700和780~900 nm三个波段的数据分形编码,并以编码中匹配数据块位置与最小匹配误差为特征,将分形方法应用于天体光谱次型识别。实验表明,分形方法不受LAMOST流量定标误差、仪器效率曲线的影响,具有一定的抗噪性,可以有效地自动识别LAMOST与SDSS的M型恒星光谱次型。     

基于强度叠加编码的空间光多输入多输出通信

针对空时编码技术在空间激光通信应用中受到的限制,提出了一种基于强度叠加编码的空间光多输入多输出(MIMO)通信算法,设计了算法中使用的码元--光强码的编码和解码规则,分析了不同天线阵列组合下的系统信道容量,给出了最佳判决门限选择方法,并在此基础上计算了不同系统组成下的误码率.仿真计算表明,与单发单收系统相比,强度叠加编...     

基于Projection算法的激光粒度测试反演算法研究

 针对Projection迭代反演算法对噪声极其敏感,及在实际应用中造成粒度测量失真的问题,引入Vondrak数据平滑算法对Projection反演进行平滑处理。借助Visual C++6.0开发平台,编写测试软件对算法应用进行了仿真研究。通过分析比较平滑处理前后的反演结果,得出Vondrak数据平滑处理算法的引入有效提高了Projection反演的抗干扰性能。实验结果表明：基于Vondrak数据平滑处理的Projection反演结果能够反映粒度的真实分布,满足现代粉体工业粒度测量的稳定可靠、精度高、抗干扰能力强的要求。     

网络信息安全中DES数据加密技术研究

网络信息安全关系到数据存储安全和数据通信安全,为了提高网络信息安全管理能力,需要进行数据优化加密设计,提出一种基于前向纠错编码的DES数据公钥加密技术,采用Gram-Schmidt正交化向量量化方法构建DES数据的Turbo码模型,通过三次重传机制产生密文序列,对密文序列进行前向纠错编码设计,结合差分演化方法进行频数检验,实现网络信息安全中DES数据加密密钥构造,选择二进制编码的公钥加密方案有效抵抗密文攻击。仿真结果表明,采用该加密技术进行DES数据加密的抗攻击能力较强,密钥置乱性较好,具有很高的安全性和可行性。     

通用高速数据采集及测试平台设计

64B/66B编码和8B/10B编码为高速数据收发器的常用编码方式,64B/66B编码相对于8B/10B编码效率更高,速度更快,应用更广泛。本文介绍了一种新型高速数据采集测试平台,该平台采用64B/66B编码,同时兼容8B/10B编码。该平台使用光纤作为传输介质,采用高性能FPGA为处理器实现高速数据收发。测试证明,采用64B/66B编码方式的平台相较于采用8B/10B编码方式的平台能够在大幅提高传输效率的同时减少数据冗余率。该平台可以为超高速数据采集提供更为高效的硬件支撑。     

A Biblock Wavelet Zero Tree Coding for Hyperspectral Imagery Data Compression

1　ＩｎｔｒｏｄｕｃｔｉｏｎＤｉｇｉｔｉｚｅｄｉｍａｇｅｓｎｅｅｄｓｔｏｒｉｎｇ ,ｔｒａｎｓｍｉｔｔｉｎｇａｎｄｐｒｏｃｅｓｓｉｎｇ ,ａｎｄｄａｔａｃｏｍｐｒｅｓｓｉｏｎｉｓｕｓｕａｌｌｙｉｍｐｌｅｍｅｎｔｅｄ ,ｏｂｔａｉｎｉｎｇｔｈｅｂｉｔｒａｔｅａｎｄｍａｉｎｔａｉｎｉｎｇａｎａｃｃｅｐｔａｂｌｅｆｉｄｅｌｉｔｙｏｒｉｍａｇｅｑｕａｌｉｔｙ .Ｃｏｍｐｒｅｓｓｉｏｎｃａｎｂｅａｃｈｉｅｖｅｄｂｙｔｒａｎｓｆｏｒｍｉｎｇｔｈｅｄａｔａ,ｐｒｏｊｅｃｔｉｎｇｉｔｏｎａｂａｓｉｓｏｆｆｕｎｃｔｉｏｎｓ…     

A Biblock Wavelet Zero Tree Coding for Hyperspectral Imagery Data Compression

In this paper, a biblock zero tree compression coding (BBZTC) method, based on wavelet zero tree compression coding (ZTC), is used to exploit redundancy in hyperspectral imagery data. Because of ZTC scanning every wavelet zero tree coefficients with low efficiency, BBZTC method outperforms ZTC in the aspects of high compression ratio, simple real-time implementing, and higher coding/decoding speed, and convenient real-time transmission. The experimental results show that this method can obtain the compression ratio 17～40 times of 224 spectral bands to remove the spectral correlation without any coding by using KLT, and the total compression performance of KLT+BBZTC method is better than the method of KLT and other one dimensional transformation (such as DCT) to remove the spectral correlation. To compare with the total compression ratio of KLT+JPEG method and SFCVQ method, this method reaches 180 at the PSNR of 33.6 db. This method is superior to the present any other method at compression rate.     

改进的对块零树编码压缩方法对超光谱数据压缩

提出了对块零树的预测二值标量量化压缩编码方法，给出了压缩比公式，并应用此压缩编码实现了对超细光谱数据的压缩，该压缩编码方法既具有小波零树压缩编码高压缩比和宜于实时实现的特点，同时具有编码，解码速度快和易于实时传输等优点，实验结果表明，改进的对块零树编码压缩（IBBZTC）方法在不传输剩余误差的情况下，达到190倍的压缩比时，峰值信噪比仍然在30dB以上，压缩性能优于KL变换－静止图像压缩（KLT－JPEG），小波变换－矢量量化（WT－VQ），小波变换一零树矢量量化（WT－ZTVQ）和对块零树编码压缩方法。     

An Improved 3D SPIHT Coding for Hyperspectral Imagery Data Compression

In this paper, an improved 3D SPIHT compression coding method, naming 3D BCSPIHT, based on wavelet zero tree compression coding (EZW), is used to exploit redundancy in 3D hyperspectral imagery data. The experimental results show that this method can obtain the compression ratio 200 for 224 spectral band data without any K-L transformation (KLT) to remove the spectral correlation, and the total compression performance of this method is better than the method of KLT and other two dimensional transformation (such as 2D DCT and 2DWT) to remove the spectral correlation and spatial redundancy. To compare with the total compression ratio of KLT+JPEG method and KLT+BBZTC method, this method reaches 200 folds at the average PSNR of 32.531 dB. This method enhances 2～5 dB in PSNR at same compression ratio to KLT+BBZTC method, and the average compression rate improves above 15 fold.     

An Improved 3D SPIHT Coding for Hyperspectral Imagery Data Compression

1　Ｉｎｔｒｏｄｕｃｔｉｏｎ　　Ｃｏｍｐｒｅｓｓｉｏｎｃａｎｂｅａｃｈｉｅｖｅｄｂｙｅｎｃｏｄｉｎｇｔｈｅｔｒａｎｓｆｏｒｍｅｄｄａｔａ .Ａｆｕｎｄａｍｅｎｔａｌｇｏａｌｏｆｄａｔａｃｏｍｐｒｅｓｓｉｏｎｉｓｔｏｒｅｄｕｃｅｔｈｅｂｉｔｒａｔｅｆｏｒｔｒａｎｓｍｉｓｓｉｏｎｏｒｓｔｏｒａｇｅｗｈｉｌｅｍａｉｎｔａｉｎｉｎｇａｎａｃｃｅｐｔａｂｌｅｆｉｄｅｌｉｔｙｏｒｉｍａｇｅｑｕａｌｉｔｙ,ｅｓｐｅｃｉａｌｌｙａｖｏｌｕｍｅｏｆ 3Ｄｈｙｐｅｒｓｐｅｃｔｒａｌｉｍａｇｅｒｙｄａｔａｎｅｅｄｓｕｃｈｐ…     

基于Karhunen-Loève变换和小波谱特征矢量量化的三维谱像数据压缩

提出了基于Karhunen Lo埁ｖｅ变换的小波谱特征矢量量化三维谱像数据压缩方法耍幔颍瑁酰睿澹?Lo埁ｖｅ变换 /小波变换 /小波谱特征矢量量化方法应用了Karhunen Lo埁ｖｅ变换的消除谱相关性优良性能 ,应用二维小波变换消除空间相关性 ,在小波变换域内应用二维集分割嵌入块编码和一维谱特征矢量量化对三维谱像数据压缩 ,获得较高的压缩性能。实验结果表明 :Karhunen Lo埁ｖｅ变换 /小波变换 /小波谱特征矢量量化编码比Karhunen Lo埁ｖｅ变换 /小波变换 /改进对块零树编码和Karhunen Lo埁ｖｅ变换 /小波变换 /快速矢量量化编码方法在同样压缩比条件下 ,峰值信噪比提高 2dB和 1dB以上 ,而速度提高了 1.5和 8倍 ,整体压缩性能有较大的提高     

三维多光谱数据压缩的新方法

提出了一种三维多光谱图像数据压缩的新方法，在对多光变图像数据进行了Ｋａｒｈｕｎｅｎ－Ｌｅｏｖｅ变换Ｋ－Ｌ变换后，再对变换后的多光谱图像数据进行静止图像方法压缩编码，消除谱和空间相关性。     

回归的能源有效网络大数据流汇聚算法研究

为了降低传感器网络数据流汇聚时的能源消耗,提出了一种基于回归的能源有效数据流汇聚算法。首先,将传感器节点分为活跃节点和能源有效节点。然后,以活跃节点为中心点将所有节点进行聚类,并应用回归方法通过活跃节点的数据流对能源有效节点的数据进行预测。接下来,通过节点预测值的累积误差不断修正活跃节点集。最后,应用活跃节点的数据流信息对能源有效节点的数据进行预测。实验表明,本文提出的算法与其它相关算法相比具有更好的预测准确性。     

适用于楔形滤光片型光谱成像仪的快速无损数据压缩方法

楔形滤光片型光谱成像仪具有无运动部件、低光机复杂度等优点，是低成本微型化光谱成像仪的一个重要发展方向。不同于传统色散型光谱成像仪，楔形滤光片型光谱成像仪获取的数据是光谱-空间混合调制的图像。针对直接应用CCSDS123进行楔形滤光片型光谱成像仪数据压缩时压缩比较低的问题，结合楔形滤光片型光谱成像仪“谱像混合”、“推扫成谱”的特点，通过定义新的局部差向量，构建了一种低运算复杂度适合硬件实现的快速无损压缩方法WCCSDS123。新的局部差向量中参与计算的像元集合代表的是同一被观测点的光谱信息。WCCSDS123方法首先利用局部和与改进的局部差向量对采样点的值进行预测，再利用预测值与真实值计算预测残差并对其进行整数映射，最后采用采样自适应熵编码对映射预测残差进行编码完成压缩。在6组楔形滤光片型光谱成像仪数据上分别采用WCCSDS123和CCSDS123进行了压缩实验。实验结果表明，与CCSDS123相比，WCCSDS123的压缩比提高了约21.62%，压缩耗时没有明显差异。因此，该方法在提高压缩比同时，继承了CCSDS123复杂度低，易于硬件实现的优点。该方法WCCSDS123具有较低的计算复杂度，能够更加有效地利用空间光谱冗余信息，获得更好的压缩效果，是针对楔形滤光片型光谱成像仪的一种良好的快速无损数据压缩方法。