不确定数据流自适应并行连接算法及应用

不确定数据流对处理过程有独特的需求,如存储空间有限、响应时间很短、需要连续处理、数据无限等,这对数据流的处理算法,特别是耗时、耗内存较多的连接操作提出了挑战。针对大规模不确定数据流并行连接所存在的速度较慢和内存消耗大的问题,提出了多核处理器上不确定数据流并行连接和内存溢出时自适应处理的一系列算法,能够高速在线处理并发不确定数据流。在此基础上,针对道路各个卡口监控到的不确定数据流,提出一种实时发现套牌车的方法。实验采用真实数据、均匀数据、高斯数据进行评估,证明算法具有良好的性能,其处理速度比内存数据库Timesten速度提高2~8倍,能够满足实时交通套牌车监控的需求。     

工作流中检测异常数据流的系统遍历图算法研究

工作流技术已经成为管理日益复杂业务流程的标准方案。成功的业务流程管理依赖于有效的工作流模型,而工作流模型主要限制控制流和数据流方面。但是大量分析和算法的存在是用来验证控制流的正确性,只有相对较少的方案可用于验证数据流的正确性。文章针对工作流中的异常数据流,对异常数据流进行定义和分类,并提出一种异常数据流验证算法—系统遍历图算法,其可以在工作流建模时避免异常数据流,有效减少企业经济活动的风险,帮助企业高效地作出决策。     

改进的数据流缺失数据处理算法

数据流预处理主要是在原始观测数据的基础上进行,包括对原始监测到的数据集中的缺失数据进行插补或剔除,是数据流预测过程中一个重要性环节,是数据流应用中必不可少的组成部分.数据流预处理技术可以改进监测数据流的质量,从而有助于提高其后的处理过程的精度和性能.     

基于数据流的聚类分析算法研究

文章研究和分析了数据流上几种典型的聚类分析算法，分析了这几种算法的优点和不足。研究了现在数据流聚类分析的现状，指出未来发展方向。     

基于流量分析的XML嵌套数据流无损压缩算法

为避免基体的反复压缩操作,提出一种基于流量分析的XML嵌套数据流无损压缩算法。利用GDDStream算法对高相似度的XML嵌套数据流进行聚类分析,并表述成“簇中心(基体)+个体差异量”形式,分解数据流,完成一次基体压缩;仅对差异量进行压缩,极大减少对基体的反复压缩操作;利用改进LZW算法实现XML嵌套数据流无损压缩。实验结果表明,压缩后不仅数据完整性得到了保证,数据量也大幅减少,数据冗余度降低,与压缩前数据相比,压缩后数据未出现变化,说明压缩算法性能较好。     

分布式数据流上的连续异常检测

近年来,数据流异常检测在决策支持和监测等领域有着广泛的应用前景,并成为数据管理与挖掘的研究热点.针对该问题提出了相应的异常定义及检测算法,理论分析表明:与现有异常检测算法相比较,提出的算法具有良好的性能和效率,更适合于数据流应用.     

基于模糊C均值的数据流入侵检测算法

针对数据在性态和类属方面存在不确定性的特点,提出一种基于模糊C均值聚类的数据流入侵检测算法,该算法首先利用增量聚类得到网络数据的概要信息和类数,然后利用模糊C均值聚类算法对获取的数据特征进行聚类。实验结果表明该算法可以有效检测数据流入侵。     

基于并行关联规则挖掘算法的入侵检测系统的研究

数据挖掘技术已经在入侵检测当中得到应用。为了进一步提高效率。提出将井行关联规则应用到入侵检测的挖掘中，以提高入侵检测的效率。本文提出一个新的分布式的入侵检测系统结构，重点介绍了井行关联规则挖掘算法如何应用于此系统．及其应用于此系统之后的优点。     

基于迁移学习的并行化大数据流传输系统设计

传统系统在并行化大数据流组件不变情况下的吞吐量会随着并发数增多而减少,影响数据流传输效率。为了解决这一问题,提出基于迁移学习的并行化大数据流传输系统。系统硬件由FPGA核心控制器、XC7K325T-2FFG 900芯片、DCM时钟组成,用于实时传输数据流。系统软件是在STORM平台上引入迁移学习算法。软、硬件结合,完成基于迁移学习的并行化大数据流传输系统设计。实验分别测试了两个系统在并行化大数据流组件不变情况下的吞吐量。将并行化大数据流分类组件设置为(5.5),(5.6),(5.7),(5.8),从实验结果可知,所设计的系统吞吐量会随着并发数、线程增多,呈上升趋势,能够有效提升并行化大数据流传输效率。     

数据挖掘中新的并行算法

对已提出的挖掘关联规则的并行算法进行了较全面的总结 ,对他们的性能进行了分析 ,针对这些算法中的问题。提出了一种新的挖掘关联规则的并行算法 ,并对他的性能作了简要分析 ,给出了优化策略。     

A nodes scheduling model based on Markov chain prediction for big streaming data analysis

Streaming data analysis is an important part of big data processing. However, streaming data is difficult to be analyzed and processed in real time because of the rapid data arriving speed and huge size of data set in stream model. The paper proposes a nodes scheduling model based on Markov chain prediction for analyzing big streaming data in real time by following three steps: (i) construct data state transition graph using Markov chain to predict the varying trend of big streaming data; (ii) choose appropriate cloud computing nodes to process big streaming data depending on the predicted result of the data state transition graph; and (iii) assign big streaming data to these computing nodes using the load balancing theory, which ensures that all subtasks are accomplished synchronously. Experiments demonstrate that the proposed scheduling algorithm can fast process big streaming data effectively. Copyright © 2014 John Wiley & Sons, Ltd.     

并行算法在软件无线电多DSP平台的应用

近年来，随着软件无线电的发展，用于软件无线电平台中的多DSP并行结构受到越来越多的关注，因为这种结构能提高数字信号处理的速度。提出了一种适合在该平台上并行运算的算法，以多阶FIR滤波器为例，验证了算法，并探讨算法的性能，给出了该算法在多处理器条件下，与单处理器处理结果的比较。对选取合适的软件无线电中频处理多处理器平台具有一定的参考价值，并对舰载软件无线电的实现提供了科学参考。     

移动网络中基于两级缓存的流媒体调度算法

提出一种适用于移动通信网的两级缓存流媒体系统结构2CMSA（two—level cache mobile streaming architecture），它突破了移动流媒体系统中终端缓存空间小、无线接入网带宽窄的局限；针对2CMSA结构设计了基于两级缓存的移动流媒体调度算法2CMSS（two—level cache based mobile streaming scheduling algorithm），建立数学模型分析了其性能；仿真实验证明，与原有的移动流媒体系统相比，使用2CMSS调度算法能够有效地节省网络传输开销，降低用户启动时延。     

Evolved data scheduling scheme based on layered P2P streaming in mobile network

To relieve the negative effect brought by the intricate wireless network environment and unstable user behavior in layered mobile peer-to peer(P2P) streaming service,an evolved layered P2P (E-LP2P) dat...     

Research on Cloudlet selection strategy for data streaming applications in mobile cloud environment

Most existing Cloudlet selection strategies only used the resources of one Cloudlet to compute offloading,which couldn’t obtain the superior performance improvement for mobile data streaming application with many parallel components.To address this issue,a Cloudlet selection strategy based on chemical reaction optimization algorithm was proposed.The strategy aims to reduce application’s completion time and energy consumption of mobile device.When the dependencies among application’s components was satisfied,the strategy can take full advantage of the computing capability of multi-cloudlet to execute the parallel components of mobile data stream application simultaneously.Therefore the strategy can improve the execution efficiency and reduce the energy consumption of mobile device.The simulation results reveal that the proposed strategy can achieves 18.3% on average performance improvement than POCSS strategy does in multi-Cloudlet environment.     

一种基于传输成本的流媒体缓存替换算法及其性能评价

提出一种流媒体缓存替换算法—基于平均传输成本的最小缓存效用算法，并提出一组评价缓存替换算法有效性的性能指标：平均传输成本、中心服务器消耗的带宽和算法的计算开销。模拟结果表明，ATCB-SCU的传输成本和中心服务器消耗的平均带宽都比较低，其计算开销也较低。     

基于最优延时和多天线的并行检测算法

循环平稳特征检测是一种在低信噪比时也能准确发现信号的盲检测技术,但其算法计算周期较长.针对此问题提出了一种改进的并行渐进最优卡方检测算法,通过识别循环谱特性和遍历循环自相关确定最优的循环频率和延时,用循环自相关以及渐进协方差矩阵构建检验统计量,并对二维向量和谱分量实部和虚部进行合并及迭代过程并行处理,仿真得到了检测概率和检测时间.同时,根据最大似然比统计量的有偏估计和渐进分布特性导出了检测概率的表达式,结果表明：最优延时的理论与仿真吻合得很好,多天线技术充分利用了空间分集,在干扰较强时仍然[JP2]具有较高的检测概率,且并行处理过程能有效减少检测时间.     

基于UCL的流媒体广播系统设计

介绍了基于内容定位技术的流媒体广播原理和系统组成,讲解了系统软件设计的方案、主要模块的功能和设计要点,并比较几种典型的流媒体应用系统.     

基于ARP和SNMP的并行拓扑发现算法

根据数据灾备中心特定网络环境的工作特点——网络必须具有高可靠性,并能及时发现设备故障,因此对拓扑算法就有高准确性和高效率的要求,针对现有拓扑算法在发现完整性和发现效率上的不足,提出了结合ARP与SNMP各自的优点,并采用多线程并行技术提高拓扑效率,给出了算法的设计与实现。实践证明,该算法在拓扑效率上提高了近一倍。