基于hadoop的大规模查询日志分析模型设计

日志分析对于在用户搜索领域有着很重要的意义,目前的日志分析系统有着不少弊端,比如：海量数据无法处理、离线处理模式、处理时延长等。对日志数据采用分级归档,可以实现大数据的分级优化处理。本文通过提出在一种基于Hadoop的大数据日志分析模型,并对其业务处理流程以及功能架构进行深入分析,实验结果反映出该系统扩展性强、海量数据处理能力卓越、满足在线处理等,具有良好的可行性和有效性。     

Web查询日志研究综述

本文对查询日志在相关领域内的研究现状与进展进行了总结。首先介绍了web查询日志的常用信息和公开的数据集;进而阐述了查询日志在web搜索、信息抽取等方面的相关研究,并对它们进行了细致的介绍和分析;最后指出基于查询日志研究所面临的问题和挑战。重在对基于查询日志研究的主流方法和前沿进展进行概括、比较和分析,以期对后续研究有所助益。     

安徽移动彩铃平台USDP日志查询系统

本文首先介绍了彩铃平台的组网结构和各网元的功能,然后对USDP日志查询系统的总体结构和程序开发步骤进行了详细的描述。     

一种基于查询事件的域名服务器日志模型

提出了一种基于查询事件的日志模型,采用查询/应答日志匹配的方法完整的记录了一次查询事件,利用内存数据结构提高了海量数据写入的I/O效率;在日志分析过程中对日志文件建立二维哈希索引,利用布隆过滤器减少磁盘I/O次数,提高了分析效率.     

基于改进哈夫曼编码的大规模动态图可达查询方法

随着社交网络分析、生物信息网络分析等新兴应用的涌现和计算机技术的飞速发展,图的规模迅速增长,并且频繁更新,使得对大规模动态图数据的处理需求愈加迫切.现有的面向大规模动态图的可达查询研究成果较少,尚存在索引压缩困难以及图结构待优化等问题.本文提出了一种支持大规模动态图的基于改进哈夫曼编码的可达查询处理方法（Huffman-based Label Reachability,HuffLR）.该方法首先对预处理图进行结构上的两次压缩,得到双压缩图;其次,基于双压缩图提出一种前缀label索引,该索引能够有效表达节点间的可达关系;最后,提出双压缩图的演进和可达查询处理及优化算法,主要包括边的插入与删除、节点的插入与删除.实验表明,本文提出的基于改进哈夫曼编码的大规模动态图可达查询处理方法具有良好的可行性和有效性.     

基于差分压缩的大规模日志压缩系统

大型信息系统的日志数据规模呈现快速增长趋势,导致线速压缩与存储大规模日志数据成为当今数据管理的一大挑战。对大量的网络系统日志进行了研究,发现日志数据存在冗余的结构模式,在内容上存在时间局部相似性。提出了基于模板的细粒度日志差分压缩架构,针对具体日志数据,可配置与其相适应的细粒度差分策略。实验结果表明,与gzip工具相比,所提日志压缩系统在压缩速度上提高了2~10倍,压缩率比gzip更低,可达到10%。     

基于用户日志的相关搜索模型研究

搜索技术的组成部分发展至今已经呈现多样化,在不同的使用环境它们各有特色,但都致力于为使用者提供更优质的使用体验。现代搜索技术希望从使用者的自然语言出发,为使用者发掘到最理想的目标答案。相关搜索是查询推荐技术在搜索引擎中最常见和成功的实现,传统相关搜索基于日志建立的模型是为了应付基于内容分析或初次检索模型的局限性。文中重新划分粒度,更加精确计算用户日志数据的相关性,为使用者提供更好的相关推荐。实验表明,文章结果在应用中有了较好的提高。     

面向大规模日志数据的聚类算法研究

针对大规模日志数据的聚类问题,提出了DBk-means算法。该算法使用Hadoop对原始日志数据进行预处理,并结合了k-means和DBSCAN聚类算法各自的优势。实验结果表明,相比k-means算法进行聚类分析,文中使用DBk-means算法进行聚类,能够取得更好的聚类效果,正确率可以达到83%以上。     

网站日志分析器

一个网站的管理，维护，网站的日志文件是一个重要的参考文件，但日志文件信息量大时，一个网管员很难一下子把需要的情况提取出来，而有了日志分析器就可以帮助网管员把日志记录中的情况以图表的形式进行统计分析并展示出来，大大地提高了日志查看分析的效率．并且还可以从分析表找到网站被黑客入侵攻击的迹象．     

基于正则表达式的日志解析系统构建研究

针对日志格式异构造成的日志解析局限性问题,文章介绍了一种基于正则表达式日志数据分组提取的方法,采用日志格式描述与日志内容解析相分离的策略,使用XML语言编写日志格式描述和日志数据项说明的脚本文档,该脚本文档与日志类别相对应,与具体的解析程序分离,提高了日志解析系统的灵活性和扩展性。     

基于随机游走模型的查询日志中命名实体挖掘

提出了一种弱指导的方法从搜索引擎查询日志中挖掘命名实体。该方法中采用人工选择的少量命名实体名称作为种子,使用随机游走模型从查询日志中获得大量的命名实体。其中采用了查询日志中的实体上下文模板,用户点击URL和候选命名实体构建三分图,根据在该图上的随机游走计算候选命名实体属于指定目标实体类别的概率,从而在查询日志中获取该类别的命名实体。在真实的查询日志上对7个实体类别进行的实验,实验结果显示本文方法在各个类别上均获得较好的命名实体挖掘效果。     

基于回调机制的异步日志服务的开发

日志服务作为软件开发中的一个重要组件,同步将带来额外的系统开销。本文介绍了一种利用回调机制开发异步日志服务的方法,有效地减少了系统性能的开销,提高了软件的健壮性。     

集中管理服务器日志

本文先介绍了日志及日志服务器的基本概念,syslog的工作原理,最后介绍了如何利用一台主机搭建基于syslog的日志管理服务器,以实现对于跨操作系统主机以及专用网络设备日志的集中统一管理。     

基于C#的PowerCaster类型化自动播出系统日志查询设计

PowerCaster是一种基于C/S架构针对音乐类广播节目类型化播出设计的自动播出软件,与S1相比,Power-Caster可实现广播节目的类型化播出,即可以根据事先制定节目策略智能化排播出单.但在为节目生产提供便捷的同时,该系统生产厂家未对系统播出日志设计查询功能,不便于在系统发生故障时及时查询播出日志.针对这一问题,利用面向对象的高级编程语言C#对该系统日志查询功能进行了二次设计.     

双层查询模式时态GIS的构建

时态GIS的研究是当前GIS研究的热点之一,但是传统时态GIS历史数据和当前数据分别存储,查询分析繁琐复杂。本文结合空间数据库技术,分析历史数据和当前数据的特点,设计了一种双层查询模式可以方便的实现常见时空查询。     

大规模知识图谱的多查询优化问题研究

多查询优化问题是从一组查询中找出公共子结构,将其结果缓存起来,每个查询可以利用缓存结果构建自己的结果.由于知识图谱上的多查询优化是NP-hard问题,现有方法无法在大量查询同时到达时高效地查找公共子结构,也无法保证优化后查询时间一定减少.因此,本文提出了一个新的分布式,基于内存的RDF查询引擎Leon来处理多查询优化问题.Leon使用了基于特征集合的索引和划分方法,具有简单高效、空间占用小的特点.针对现有检测查询之间公共子结构检测算法时间复杂度高的特点,本文提出了一个新颖的多查询优化算法:利用特征集合快速过滤没必要优化的查询,在剩下来的查询中精确、高效地查找公共子结构.实验结果证明:引入多查询优化情形下,时间是基准方法的1/10.     

流程工业生产操作管理中日志组态的设计

针对流程工业,一般不同角色的人员使用的操作日志模板不一样,如果角色很多,就会产生需要定义多个操作日志模板的问题.提供的一种日志组态的设计和实现方法,通过定义日志片段来动态生成日志模板,可以很灵活的展现日志.     

MIS系统操作日志的设计与实现

通过对管理信息系统(MIS)日志的全面分析,提出了一种MIS系统操作日志整体框架,该框架能很好地记录用户操作MIS系统过程中的一些信息,保证了MIS系统的安全性、可靠性和完备性。此方案已在环保信息管理系统中加以应用,取得了较好的效果。     

面向主动运维的Syslog日志分析方法

网络在运行过程中,有时会出现一些异常事件,这些异常事件对网络具有一定的危害性,严重的可能会导致网络故障.现代网络运维工作中普遍使用Syslog日志记录网络设备上发生的各种事件,然而许多网络运维部门仅仅用Syslog日志分析故障,对日志中所反映的网络异常情况往往重视不够.为了改变被动等待故障的工作方式,网络部门需要全面了解网络的运行情况,找出可能导致网络故障的因素,使得运维工作由被动变为主动.Syslog日志分析是主动运维工作中的一项重要内容.由于大型网络中Syslog日志数量非常庞大,依靠人的分析方法几乎不可行,而且由于日志消息格式的随意性,也使得传统的基于规则的计算机分析方法通用性较差.本文通过对异常事件的特征进行研究,结合实际网络中的Syslog日志数据,对如何找出网络中的异常事件和异常设备进行总结.     

双层查询模式时态GIS的构建

时态GIS的研究是当前GIS研究的热点之一,但是传统时态GIS历史数据和当前数据分别存储,查询分析繁琐复杂.本文结合空间数据库技术,分析历史数据和当前数据的特点,设计了一种双层查询模式,可以方便的实现常见时空查询.