基于日志模板的异常检测技术

日志分析是云计算业务平台管理中一项非常重要的工作.日志分析旨在保证云平台的高效性与可用性,传统的人工分析方式存在日志复杂、日志量大等问题.本文提出了一种日志异常检测方法,首先基于编辑距离进行文本聚类形成日志模板,在此基础上构建特征向量,利用弱分类器训练形成得分特征向量,利用得分特征向量与随机森林构建强分类器.实验表明,日志模板与真实模板之间的互信息为0.91,较为接近,利用随机森林构建的强分类器在本文的数据集上表现最好,分类精度达0.94.     

海量数据采集技术在IDC不良信息监测系统中的应用研究

本论文阐述了某电信企业在建设IDC不良信息监测系统过程中,为高效处理每天数十T的海量数据,选取了多种数据提取技术,进行反复方案论证和实验对比,最终选择了HADOOP脚本+FTP方式,极大提高了数据提取效率,实现了海量数据高效采集和处理,保证IDC不良信息监测系统能够及时发现、处理IDC中包含的不良信息,助力IDC业务健康发展,避免给国家、社会带来负面影响。     

机载分布式系统管理中故障管理机制探究

基于ASAAC4626系统管理理论,针对机载分布式系统中各分布式节点发生故障的特性点进行分析,提出一种基于分布式系统管理的故障管理机制,具体包括故障来源及分类、故障信息处理、故障日志记录三个方面,从可能发生故障的分布式系统节点的硬件故障信息收集到软件主动故障检测,从故障过滤到故障报告生成,从故障信息储存到故障信息分析,描述了航电系统任务系统的一个完整的故障管理机制过程,满足了分布式系统管理中多节点故障信息采集、处理、记录过程中覆盖面广、系统响应效率高的要求.     

基于模糊核聚类和主动学习的异常检测方法

针对日志数据的异常检测获取标记数据代价过高的问题,提出一种基于模糊核聚类与主动学习的算法,即KFCM-AL算法。首先将日志解析,之后利用模糊核聚类算法将待选样本在高维空间进行划分聚类,滤去样本冗余点,同时选取聚类中心进行标记构建初始分类器,最后结合主动学习利用较小的标记代价对异常检测模型进行优化。实验结果表明,所提方法能够利用较少的标记样本获取异常检测模型的性能提升。     

基于日志溯源的有线电视立体防护系统设计与实施

基于日志溯源的立体防护系统是广东有线广播电视网络公司为适应新的网络环境而设计应用的防护系统,创新性的在原有的单个防护设备的基础上,增加了日志设计、防篡改及双机热备模块以实现全方位的立体安全保护.本文首先介绍广东有线立体防护系统出现的背景,然后进行详细的需求分析,最后对系统的设计及主要功能实现做了阐述.     

Web日志与浏览行为结合下的用户浏览兴趣数据挖掘分析

针对用户浏览兴趣模式数据的收敛性和准确度不高的问题,提出一种基于Web日志与用户浏览行为结合的用户浏览兴趣模式数据挖掘模型。首先设计Web日志与用户浏览行为结合的用户浏览兴趣模式数据信息流模型,进行用户浏览兴趣模式的频繁项特征提取和Qo S预测;然后采用Web日志与用户浏览行为结合的行为调度模式自适应检索用户浏览网页的兴趣特征点,实现语义特征匹配,达到用户浏览兴趣模式数据挖掘的目的;最后通过仿真实验实现性能验证。结果表明,该方法的用户浏览兴趣特征点的匹配度高,数据挖掘精度得到提升,展示了优越性能。     

基于大数据的校园网海量日志分析平台研究

信息技术在高校校园网中的迅速普及与应用,随之带来的是日新月异的各种新应用和新生态用户体验,同时也出现了大数据处理的困难与挑战。文章通过介绍一种基于大数据的大规模网络日志分析平台,研究大数据分析平台的技术架构与总线模块,实现了对校园网海量日志进行统一收集与大数据分析。     

多源日志的远程存储和分析管理

在现代计算机系统和软件开发过程中日志数据越来越受到业内人士的普遍重视。文章旨在实现对日志数据的远程备份并按照一定的规则挖掘出对后续的日志管理有帮助的记录。首先使用TCP可靠传输协议把日志数据存入到远端服务器上,为了实现对日志数据的较为全面的分析管理,把不同格式的日志数据做统一化处理,并写入到数据库中,实现对日志数据的安全管理。     

基于气象大数据云平台的政务区数据同步技术研究

随着气象大数据的快速发展和山东数字强省建设的深入推进,气象数据在地方政府的发展和决策制定中发挥着越来越重要的作用。为了满足政府数据应用的需求,提出一种基于气象大数据云平台的高效、安全、可靠的数据同步方案,以实现政务区的数据同步,提升气象数据服务能力和信息化水平。依据气象数据的类型和特点,将其划分为一般结构化数据、特色结构化数据和非结构化数据三类,针对每类数据提出了相应的同步技术方案,构建了针对政务区数据同步的综合解决方案,并以山东省气象数据为例进行了实验分析。结果表明,所提方案具备高度可行性、有效性和安全性,可为政府决策提供强有力的数据支撑。     

基于在线学习行为分析的在线教学设计优化研究

为了更好地提高在线教育的教学质量,分析在线学习行为进而优化在线教学设计有着重要意义。文章运用内容分析法对某高校193名学习者的在线学习日志进行分析,借助ROST CM 6.0进行词频和语义网络分析。分析结果表明：在线学习者较多关注学习体验与共情感悟,学习过程的互动设计利于学习者发生群体归属感,较多学习者愿意主动利用资源进行自主学习,学习者更多关注教师的反馈与评价,适度激励有利于学习行为持续、正向发展。建议在线教学设计从创设在线学习情境、丰富在线学习资源、创设良好课堂互动、文本激励适度投放等方面入手,从而提高在线教育质量。