Hadoop集群作业调度算法优化技术研究

针对当前云计算技术的广泛使用,提出对Hadoop集群作业调度算法进行研究的构想。在对Hadoop新版本中提出的Hadoop Map Reduce V2(Yarn)框架进行深入研究的基础上,设计一个详细完整的对比实验,针对各种作业调度算法的优势与不足进行全面的测试。通过使用不同的作业调度算法运行相同的作业,进行细致横向的对比,并得到各种作业调度算法之间以及计算框架之间在计算能力、运行时间、资源占用等方面的优劣。实验结果表明,公平调度算法和计算能力调度算法相较于传统的FIFO算法具有更灵活、更高效的特点。     

基于子主题选择与三级分层结构的Web文本挖掘方法

针对用户和查询之间的意图差距导致的查询模糊宽泛和数据稀疏问题,根据流行性和多样性返回可能子主题的排名列表,利用子主题选择与排序的分层结构进行Web 文本挖掘。首先,在名词性短语和可替代部分查询的基础上,使用简单模式提取各种相关的短语作为候选子主题;然后,使用网页文档集合中的相关文档构建候选子主题的三级层次结构;最后,综合考虑流行性和多样性,利用该结构和估计的流行度进行排序。实验使用了NTCIR-9库的100个日文查询和来自TREC 2009库的100个英文查询以及网络跟踪多样性任务,实验结果验证了本文方法可有效应用于各种搜索,对于高排名的子主题挖掘优于外部资源。     

基于Hadoop的网络舆情监控平台的研究

根据信息时代舆情管理的要求,利用云计算的高效的分布式运算能力,本文构建了基于云平台的网络舆情监控系统。首先介绍了舆情监控与Hadoop技术,结合舆情监控工作流程,重点阐述了舆情监控系统的架构及关键算法的MapReduce实现,最终验证了基于Hadoop的舆情分析处理的高效性。     

基于相似度特性的复杂网络演化算法研究

提出了一种基于相似度特性和三角形结构的复杂网络演化算法,利用平均场理论给出网络的度分布、聚类系数和平均距离等特性的理论分析,并利用NetworkX工具包进行仿真验证,证明该演化模型在增加相似节点连接概率的同时具有幂率分布和小世界特性。