基于语义理解的文本相似度算法

相似度的计算在信息检索及文档复制检测等领域具有广泛的应用前景.研究了文本相似度的计算方法,在知网语义相似度的基础上,将基于语义理解的文本相似度计算推广到段落范围,进而可以将这种段落相似度推广到篇章相似度计算.给出了文本(包括词语、句子、段落)相似度的计算公式及算法,用于计算两文本之间的相似度.实例验证表明,该算法与现有典型的相似度计算方法相比,计算准确性得到提高.     

基于事件的文本相似度计算

大量研究成果已经表明,事件在很多文本中是客观存在的.从语义的角度理解,诸多文本是由事件组成的,事件是文本表示的最小语义单位.给出了基于事件的文本表示模型,在此模型的基础上,从文本类型相似度计算和文本内容相似度计算两个层面论述了文本相似度计算的方法.     

基于《知网》的文本相似度研究

计算文本相似度常用的方法是计算以VSM表示的文本之间的夹角余弦值,但这种方法并没有考虑文本中词语之间的语义相似度.另外由于计算余弦值时要考虑VSM向量对齐,从而导致计算的高维度、高复杂性.《知网》作为一个汉语常用的知识库得到广泛的研究,利用该知识库能方便地求得汉语词语之间的相似度.利用《知网》计算每篇文本中词语之间的相似度,对VSM进行改进,用少量特征词的TF/IDF值作为改进后的VSM向量中的权重,进而计算文本之间的相似度.通过比较改进前后的VSM的维数、召回率和准确率,结果显示,改进后的算法明显降低了计算的复杂度并提高了召回率和准确率.     

基于相似度的中文网页正文提取算法

网页正文提取是WEB挖掘的重要步骤。传统网页正文提取方法都需要经过分块这一步骤之后来识别网页正文块,提出了利用行文本之间的内容相似度和标签相似度结合的方法来提取网页正文。该算法避免了传统网页提取算法的分块步骤,在规范网页之后,先提取网页的最大文本行,然后计算每行文本与最大行的内容相似度和标签相似度,再结合内容相似度与标签相似度来提取网页正文。实验中,利用随机抽取的网页进行了测试,其测试精度接近95%,表明该算法在实际中是有效的。     

基于网页内容相似度和链接关系的社区发现及动态添加

给出了一种基于网页内容相似度和网页之间链接关系的社区发现方法.该方法不仅考虑了网页之间的超链接关系,而且着重考虑了网页在内容上的相似度并克服了传统社区发现算法忽略网页内容的局限性,使发现的社区在内容上更相关.在原始社区的基础上对其进行动态添加,将网络中新出现的与原始社区中的网页存在链接关系同时与主题相关的网页加入到原始社区.实验表明,此方法可以有效地应用于网络的社区发现,使发现的社区在内容上更相关.     

基于文本最小相似度的中心选取方法

基于划分的聚类算法是一种局部最优算法.聚类初始中心的选择对该聚类算法的收敛速度和聚类的性能都有很大的影响.初始中心点应该选择来自不同的类并且初始中心点文本之间的相似度应尽量小,为此提出了一种新的基于最小相似度的中心选取方法,该方法选择相似度最小的两个样本分别作为初始的两个中心,然后依次选择到已知中心相似度最小的样本作为其他类的中心.实验表明该方法能够选出来自不同类的样本作为聚类的初始中心,同其他初始中心选择方法比较,聚类算法的性能有明显提高.     

计算文本相似度阈值的方法

基于VSM(向量空间模型)的相似度分类器的相似度阈值通常由经验确定导致分类精度不高。该文提出一种基于Boosting机制在不同文档集上自动计算相似度阈值的方法。它利用Boosting迭代生成多个基于相似度划分的子分类器,通过加权把决定这些子分类器的相似度阈值组合起来,得到对理想相似度阈值的一种逼近。实验表明:这样得到的相似度分类器的平均精度比传统方法高15%左右,甚至可以与一些复杂方法相比。它在处理网络实时文本信息处理问题(分类、过滤和检索)中的效率是这些复杂方法的3倍以上,且问题规模越大、越复杂,其优势越大。     

基于文本相似度计算的兴趣网络构建方法研究

从海量无结构互联网信息中提取高质量的社会网络有着广阔的应用前景和较高的学术价值,本文以新浪微博网站作为信息源提取用户之间的共同兴趣网络,在知网文本相似度计算方法的基础上,结合用户特征词的词性分析,提出了一种结合词性的用户相似度计算方法,此方法可以计算用户之间的兴趣强度,进而构建共同兴趣网络。实验结果表明,该方法对用户类别判定的准确率有所提高,对兴趣网络的提取有较好的效果。     

基于超链接分析搜索引擎页面排序算法的剖析

对搜索结果的排序是搜索引擎中至关重要的一项技术,算法的好坏直接关系到用户输的搜索引擎页面排序算法。对两种最基本的页面排序算法PageR ank和H ITS的算法思想和实现原理进行详细阐述。通过分析对比,总结出它们各自存在的优点和不足进而指出适合其应用的条件领域。最后指出搜素引擎应用超链接分析时应注意的一些影响因素。     

基于相似度的快速网页排序算法

将经典的PageRank算法和汉明距离相似度算法结合,提出一种新的网页排序方法。通过结合汉明距离(Hamming distance)相似度算法,计算检索词和网页文本相似度,提高搜索查准率;在增加检索词的同义词的搜索过程中,通过改进汉明距离相似度算法,提高搜索查全率。实验结果表明,该方法与PageRank算法相比,拥有了更好的效果。     

基于PageRank算法的商业网站推广策略研究

搜索引擎已经成为当前检索信息的重要工具.为了提高网站在搜索引擎中的排名,必须对网站进行优化。文章针对目前流行的Google搜索引擎,集中研究了网站结构对基于PageRank算法的网站搜索引擎排名产生的影响,并分析该算法在独立网站下的效果,提出了相应的优化策略,总结了PageRank算法存在的不足,这对促进网络信息获取技术向高精度、智能化方向发展提供了很大的参考价值。     

一个基于PageRank的科技文献质量评价算法

针对引文分析中单纯根据文献的被引次数多少来评价文献质量优劣的缺点,提出了一个基于Page-Rank算法思想的文献质量评价算法.该算法综合考虑了文献发表机构、作者的权威性、被引次数及发表时间因素.实验证实可以弥补传统引文分析中计量方法的不足.     

基于超链接和相关度策略的克隆Web搜索方法

针对如何快速有效地搜索用户所需要的Web资源问题,在介绍HITS算法的基础上,分析其产生主题漂移的原因,并结合内容相关度策略,提出一种新的CSHITS搜索算法,该算法通过克隆、变异和交叉操作获取具有相关度高的Web页面.实验结果表明,CSHITS算法挖掘了超链接间的潜在语义关系,能有效地引导主题挖掘.     

基于节点相似性有偏游走的多层时序网络节点重要性评估

时序网络中关键节点的挖掘引起了社会广泛的关注。针对时序网络建模中存在忽略时间信息、未考虑时间切片间的交互关系进而影响关键节点识别的准确性和科学性的问题,构建了多层时序网络模型,并提出了一种基于节点相似性有偏游走的关键节点识别算法：多层时序有偏PageRank（MTB-PR）。本文中网络模型的构建引入多层网络分析方法,完整涵盖了时序网络的结构演变。同时,基于所构建的网络模型,综合层内相邻节点间相互作用及其层间影响的双重因素来区分节点的不同影响力;通过数据分析,探讨了一些偏差参数变化对节点重要性能指标的影响。最后,将模型和算法应用于真实网络中,通过实验数据验证了该方法的合理性和有效性。     

搜索引擎的相关排序算法分析与优化

相关排序技术是搜索引擎结果处理的一个核心技术,其排序算法的优劣直接影响查准率.笔者阐述了现有排序算法的优缺点,分析了不同排序算法对查准率的影响,从根集的质量、噪音链接、查询分类几方面进行了优化并考虑了综合因素,提出了一种切实可行的相关排序实现方案.     

基于扩展锚文本的网页特征识别

基于源网页的信息比目标网页的更具有区别性,提出通过提取源网页扩展的锚文本,进行目标网页特征识别。分析了不同位置的扩展锚文本,获取其XPath表达式,用于提取网页特征,并通过实验分析其性能。     

基于转移概率的 PageRank 算法研究

PageRank算法是目前一种基于网络链接的比较成功的网页排序算法.首先对PageRank算法做了简单介绍,然后从数学的角度分析,PageRank可以被看作是一个马尔可夫随机游走模型,基于此模型对经典PageRank算法中的转移概率做了改进,根据网页的原PageRank值在链入网页的所有链出网页PageRank值总和所占比例定义转移概率.实验表明,改进后的算法在计算出网页的PageRank值,更具合理性.