基于web网络优化协议的水质污染程度在线监测系统设计

针对传统人工水质污染程度检测工作效率低、实时监测能力不强的问题,设计并实现了基于web网络优化协议的实时在线水质污染程度自动监测系统,系统利用无线传感器网络节点对区域水源水质进行监测,通过无线分组通信技术与宽带网络对数据进行远程传送,工作人员可实现web实时在线的水质信息查询、管理控制、数据收集、报警提示等操作,基于web的水质监测系统,提升了系统的可扩展性、易用性以及实时性等;系统硬件包括传感器模块、无线通信模块、单片机外围电路、以太网接口模块等;系统软件设计了web网络优化协议、系统监测平台、远程参数设置、驱动程序等内容;应用该系统对西安市护城河的水质进行污染程度监测,部署20个传感器监测节点,1个监测子站节点,1个远程web监测主站,分别监测河水中pH值、总磷浓度TP、化学耗氧量(COD)、氨氮浓度,连续采样两天时间,通过仿真实验表明,该系统实现了100%的通信成功率,网络之间访问速度是传统网络协议的5~8倍,无线传感器网络与远程监测工作稳定可靠,通信速率满足实时监测要求,适用于对城市水源水质污染程度的实时在线监测。     

基于云计算Hadoop异构集群的并行作业调度算法

针对Hadoop异构集群中计算和数据资源的不一致分布所导致的调度性能较低的缺点,设计了一种基于Hadoop集群和改进Late算法的并行作业调度算法;首先,介绍了基于Hadoop框架和Map-Reduce模型的调度原理,然后,在经典的Late调度算法的基础上,对Map任务和Reduce任务的各阶段执行时间进度比例进行存储和更新,为了进一步地提高调度效率,将慢任务迁移到本地化节点或离数据资源较近的物理节点上,并给了基于改进Late算法的作业调度流程;为了验证文中方法,在Hadoop集群系统上测试,设定1个为Jobtracker主控节点和7个为TaskTracker节点,实验结果表明文中方法能实现异构集群的作业调度,且与其它方法比较,具有较低的预测误差和较高的调度效率。