基于云计算的软件测试系统框架研究

针对传统的软件测试方法中存在的效率低、成本高等问题,将云测试技术应用到了软件测试中;介绍了云测试中的相关技术,并详细阐述了系统总体框架,使用了一种基于动态优先权的高优先权先调度算法,设计并实现了系统的调度子模块;Matlab仿真实验结果为在执行相同任务调度时,该调度算法比传统FCFS调度算法总周转时间短;当任务增加时,该调度算法总周转时间增加的慢,证明该算法可以显著地提高测试效率,提高资源利用率,缩减测试成本,实现软件测试的自动化。     

基于Wi-Fi与Web的云计算资源调度算法研究

为了缩短云计算执行时间,改善云计算性能,在一定程度上加强云计算资源节点完成任务成功率,需要对云计算资源进行调度。当前的云计算资源调度算法在进行调度时,通过选择合适的调度参数并利用CloudSim仿真工具,完成对云计算资源的调度。该算法在运行时有效地进行平衡负载,导致云计算资源调度的均衡性能较差,存在云计算资源调度结果误差大的问题。为此,提出一种基于Wi-Fi与Web的云计算资源调度算法。该算法首先利用自适应级联滤波算法对云计算资源数据流进行滤波降噪,然后以降噪结果为基础,采用本体论对云计算资源进行预处理操作,最后通过人工蜂群算法完成对云计算资源的调度。实验结果证明,所提算法可以良好地应用于云计算资源调度中,有效提高了云计算资源利用率,具有实用性以及可实践性,为该领域的后续研究发展提供了可靠支撑。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。     

后勤应急保障资源调度模型动态多目标算法研究

为更加贴合实际情况,更好地体现应急保障资源调度过程中的实时性、调度目标的多样性,对应急保障资源调度效用、资源调度成本和任务点保障资源均衡等目标进行分析,研究了这三个目标对应急保障资源调度模型的影响,解决单目标无法满足调度需求的问题。引入时间变量t,使模型能够依据实际需求实时改变资源调度策略,解决了无法体现应急保障实施后的反馈作用及资源调度的动态性问题,并建立了后勤应急保障资源调度模型,最后通过具有实际应用背景的算例进行验证,结果证明算法能够表现模型的动态及多目标两个特点,符合保障任务实际情况,能够为应急保障方案的形成提供决策支持。     

异构环境下基于双重预取的Hadoop调度算法

Hadoop处理海量数据时,无论是Map任务还是Reduce任务都需要耗费大量的时间传输数据,故提出一种基于双重预取的调度算法;该算法通过估算节点上任务执行的进度来预测Map任务的执行节点,然后通知节点提前预取所需的数据,并且在Map任务完成的数量达到预定值时,开始为Reduce任务预取部分数据;由于在异构的环境下集群中节点的性能各不相同,为此采取了改进的预测模型,以提高任务进度判断的准确性;实验证明,本算法在作业响应时间等方面优于现有的调度算法。     

一种用于云计算资源调度的双向蚁群优化算法

对云计算环境中的资源调度问题进行了研究,针对蚁群优化算法(ACO)在处理大规模组合优化问题时易陷入搜索速度慢和局部最优解的缺陷,提出了一种实现云计算负载均衡的双向蚁群优化算法(BACO)用于资源调度;该算法考虑到了每个虚拟机的负载和计算能力,同时在云环境中引入了蚂蚁的向前移动和向后移动;最后通过在CloudSim平台进行仿真实验,结果表明该算法的总任务完成时间较短,具有较好的寻优能力,并且能够实现负载均衡,是一种有效的资源调度算法。     

大数据背景下的数据通信调度方法研究

大数据背景下,传统数据通信调度方法研究由于预测要素引入面窄、预测算法逻辑同意性差,导致数据调度出现数据调度断层现象;针对上述问题,提出大数据背景下数据通信调度3+1集成法设计;采用3+1集成法,通过CPU信号强度波动算法、处理器数据节点动态数检测技术、电频信号转换算法与快速执行代码,解决传统的数据通信调度过程中的数据响应慢、数据调度断层的问题;通过仿真实验证明,提出的大数据背景下数据通信调度3+1集成法具有数据调度速度快、资源开销小、调度数据准确度高的特点。     

云计算环境下资源调度系统设计与实现

在云计算环境下,对开放的网络大数据库信息系统中的数据进行优化调度,提高数据资源的利用效率和配置优化能力。传统的资源调度算法采用资源信息的自相关匹配方法进行资源调度,当数据传输信道中的干扰较大及资源信息流的先验数据缺乏时,资源调度的均衡性不好,准确配准度不高。提出一种基于云计算资源负载均衡控制和信道自适应均衡的资源调度算法,并进行调度系统的软件开发和设计。首先构建了云计算环境下开放网络大数据库信息资源流的时间序列分析模型,采用自适应级联滤波算法对拟合的资源信息流进行滤波降噪预处理,提取滤波输出的资源信息流的关联维特征,通过资源负载均衡控制和信道自适应均衡算法实现资源调度改进。仿真结果表明,采用资源调度算法进行资源调度系统的软件设计,提高了资源调度的信息配准能力和抗干扰能力,计算开销较小,技术指标具有优越性。     

多目标模糊工期的维修保障资源调度优化研究

以某型特种车辆维修保养的三级保养工艺流程为对象,提出了不确定性维修保障资源调度优化问题;针对具有工序模糊作业时间和模糊工期的调度问题,采用一般三角模糊数来表示工序作业时间和完工时间,一般梯形模糊数来表示任务期望工期;并设计了一种混合粒子群-遗传算法,以完工时间最短、关键人力负荷最小和满意度最高为优化目标进行求解;算法可以有效求得其8个最优解,对求得的Pareto最优解集进行了结果分析,评价了不同评价指标对调度方案的影响;实例结果表明,算法求解结果与实际情况相吻合,较之精确调度,更加具有可操作性,为调度部门制定合理的调度方案可以提供理论支撑。     

一种云计算环境下基于Xen的虚拟机调度机制

目前Xen下的经典的虚拟机调度算法忽略了服务操作系统的I/O处理能力对系统整体性能的影响,同时未考虑增加延迟敏感型任务的响应速度,为此,设计了一种云计算环境下的改进的Credit调度算法;首先,设计了一种新的Credit值自适应计算方法,然后设计了一种根据服务操作系统的请求处理速度来确定各虚拟客户操作系统和服务操作系统CPU物理时间片的权值确定方法并描述了权值更新时机,最后,对改进的VCPU调度算法进行了定义和描述,在算法中通过优先考虑延迟敏感任务和缓存关联任务作为下一步调度的VCPU以进一步提高算法性能;实验结果表明:文中方法有效实现Xen框架下的虚拟CPU调度,较其它方法相比,将CPU利用率提高了8%以上,是一种有效的适用于云计算的虚拟机调度方法,具有很强的可行性。     

大数据服务深度需求与SOA协作集成的异构系统融合机制

大数据服务需求的认知深度和服务架构的融合度直接影响多业务大数据应用的资源管理和服务质量,本文提出了一种基于大数据服务深度需求分析和面向服务的协作集成架构的异构系统融合机制。该机制,一方面,在分析大数据源多样化、差异化大数据组织形式及其存储方式,结合不同类型用户的需求差异化特征,建立了大数据服务需求分析模型。另一方面,对于多态异构的移动互联网大数据服务,经过结构化和开放性处理后,给出大数据通信和服务调用描述定义,提出了SOA协作集成的异构系统融合架构。仿真实验结果表明,所提出的算法在大数据服务响应成功率、执行时间和代价比等方面具有明显优势。     

面向SLA的云计算负载均衡策略

云计算负载均衡是保障SLA协议的关键问题之一。针对云计算负载均衡问题,提出一种面向SLA的负载均衡策略。该策略引入人工神经网络思想,建立负载均衡模型,采用单层感知器算法(SLPA)将虚拟机负载状态进行分类,然后利用结合了动态加权轮询算法的BP神经网络算法(BPNNA-DWRRA)有针对性地对虚拟机负载权重进行预测更新,最后将任务调度到最小权重所对应的可行虚拟机上。应用CloudSim进行仿真实验,结果表明了该策略的可行性,同时,相比加权最小链接算法和粒子群算法,该策略的平均响应时间分别节省了43.6%和22.5%,SLA违反率分别降低了20.7%和14.4%。因此,所提策略在响应用户任务时,请求响应时间短,SLA违反率低,保障了SLA。     

基于代价优化的云工作流调度改进PSO算法

云计算可以通过即付即用的方式向用户工作流提供资源。为了解决资源服务代价异构环境下的云工作流任务调度代价问题,提出一种基于改进粒子群算法的云工作流任务调度算法WSA-IPSO。通过综合考虑任务的执行代价和依赖任务间发生数据传输时的通信代价,算法将总代价优化问题形式化为有向无环图DAG中的任务调度模型,并提出基于改进粒子群算法的优化模型对其进行求解。通过改进传统粒子群算法的粒子速度更新策略和惯性权重更新策略,算法可以以更快的收敛速度得到代价最小化的调度方案。通过仿真实验,与MCT算法及标准粒子群算法进行性能比较。实验结果表明,WSA-IPSO算法在降低总代价、任务分布的负载均衡以及算法收敛性方面比较同类算法均表现出更好的性能。     

Serverless distributed learning for smart grid analytics

The digitization, informatization, and intelligentization of physical systems require strong support from big data analysis. However, due to restrictions on data security and privacy and concerns about the cost of big data collection, transmission, and storage, it is difficult to do data aggregation in real-world power systems, which directly retards the effective implementation of smart grid analytics. Federated learning, an advanced distributed learning method proposed by Google, seems a promising solution to the above issues. Nevertheless, it relies on a server node to complete model aggregation and the framework is limited to scenarios where data are independent and identically distributed. Thus, we here propose a serverless distributed learning platform based on blockchain to solve the above two issues. In the proposed platform, the task of machine learning is performed according to smart contracts, and encrypted models are aggregated via a mechanism of knowledge distillation. Through this proposed method, a server node is no longer required and the learning ability is no longer limited to independent and identically distributed scenarios. Experiments on a public electrical grid dataset will verify the effectiveness of the proposed approach.     

大数据环境下地铁自动售检票系统设计与实现

近年来,随着经济领域蓬勃发展,我国加快了现代化建设进程,交通设施建设不断推进;受互联网大数据技术变革的影响,传统地铁售检票系统无法满足高客流量、大数据流处理的高强度工作要求;在日常实践应用中,传统地铁售检票系统经常出现检票识别率低、售票信息运算处理响应速度慢、多人员、多任务操作执行准确率差的问题;针对上述问题,结合大数据资源运算能力,提出大数据环境下地铁自动售检票系统设计;采用大数据实名高检处理引擎(VBDKG)、多路分处运算模组(ICGRU)与动态身份比对算法(DBTDE),针对传统地铁自动售检票系统存在的问题进行解决;通过仿真实验测试证明,提出的大数据环境下地铁自动售检票系统设计具有较强的实施性与可操作性;同时,运行处理准确性高,运行稳定。     

Autonomous DRL-based energy efficient VM consolidation for cloud data centers

The exponential data growth and demands for high computing resources lead to excessive resource use in cloud data centers, which cause an increase in energy consumption and high carbon emissions in the environment. So, the high energy consumption, inefficient resource usage, and quality of service assurance (QoS) are major challenges for cloud data centers. The dynamic consolidation of Virtual Machines (VMs) is proven to be an efficient way to tackle these issues while reducing energy consumption and improving resource utilization in data centers. It reduces the number of active hosts for energy efficiency by switching under-utilized and idle hosts into lower power mode. So, several heuristics and Artificial Intelligence (AI) based VM consolidation approaches have been published in papers. Most existing approaches rely on the aggressive consolidation of VMs for energy efficiency, thus causing performance degradation and high SLA violation. However, an automated solution is needed to reduce energy consumption and SLA violation by ensuring efficient resource usage in the cloud data center environment. Therefore, this article proposes an energy-efficient autonomous VM consolidation (AVMC) mechanism that has Deep Reinforcement Learning (DRL) based agent for performing VM consolidation decisions. The DRL agent learns the optimal distribution of VMs in the data center, considering energy efficiency and QoS assurance. The real-time workload traces from PlanetLab have been used to validate the proposed mechanism. Experimental results reveal the superiority of the proposed AVMC system over the existing models. AVMC reduced the energy consumption and SLA violation rate significantly.     

Hadoop平台下自响应故障感知的检测技术研究实现

当今云计算环境下,Hadoop已经成为大数据处理的事实标准。然而云计算具有大规模、高复杂和动态性的特点,容易导致故障的发生,影响Hadoop上运行的作业。虽然Hadoop具有内置的故障检测和恢复机制,但云环境中不同节点负载大小的变化,被调度的作业仍然导致失败。针对此问题提出自响应故障感知的检测调度方法,对异构环境负载能力的不同,而做出服务器快节点和慢节点的判断,把作业分配调度到合适的节点上执行,调整任务决策来尽可能的防止任务失败的发生。最后在Hadoop框架下与基本调度器进行实验性能比较,结果显示该方法减少作业失败率最高达19%,并缩短了作业执行时间,同时也减少CPU和内存的使用。     

Research on Multi-Dimensional Optimal Location Selection of Maintenance Station Based on Big Data of Vehicle Trajectory

In order to rationally lay out the location of automobile maintenance service stations, a method of location selection of maintenance service stations based on vehicle trajectory big data is proposed. Taking the vehicle trajectory data as the demand points, the demand points are divided according to the region by using the idea of zoning, and the location of the second-level maintenance station is selected for each region. The second-level maintenance stations selected in the whole country are set as the demand points of the first-level maintenance stations. Considering the objectives of the two dimensions of cost and service level, the location model of the first-level maintenance stations under two-dimensional programming is established, and the improved particle swarm optimization algorithm and immune algorithm, respectively, are used to solve the problem. In this way, the first-level maintenance stations in each region are obtained. The example verification shows that the location selection results for the maintenance stations using the vehicle trajectory big data are reasonable and closer to the actual needs.     

Efficient kinetic Monte Carlo simulation

This paper concerns kinetic Monte Carlo (KMC) algorithms that have a single-event execution time independent of the system size. Two methods are presented—one that combines the use of inverted-list data structures with rejection Monte Carlo and a second that combines inverted lists with the Marsaglia–Norman–Cannon algorithm. The resulting algorithms apply to models with rates that are determined by the local environment but are otherwise arbitrary, time-dependent and spatially heterogeneous. While especially useful for crystal growth simulation, the algorithms are presented from the point of view that KMC is the numerical task of simulating a single realization of a Markov process, allowing application to a broad range of areas where heterogeneous random walks are the dominate simulation cost.