基于XPath比较的Web数据抽取方法

研究了从包含多个数据块的页面中抽取数据的方法.通过对比各个数据块的XPath,发现这些数据块具有相似的XPath,提出一种基于XPath比较的数据块抽取规则生成算法XERG.得到各个数据块抽取规则之后,块内的信息可以使用相对XPath或者正则表达式的方法来进行抽取.实验结果表明,该方法能够准确地获得各个数据块,正确抽取块内信息.     

自动抽取web数据的树对齐算法

针对从模板生成的网页中自动抽取web数据的问题,提出了一种新的树对齐算法.该算法能够确定输入网页的最大匹配结构.经过一系列的对齐操作之后,多棵树被合并成为一棵记录着合并前多个网页上的统计信息的合并树,树对齐算法可以发现合并树中的重复模式,在最可能内容块上构建包装器,并按照重复模式从网页上抽取数据.实验结果表明,该算法的抽取结果具有较高的准确性和良好的稳定性.     

Web信息抽取研究

Web信息抽取是近十年来发展起来的一门数据挖掘技术。主要介绍信息抽取的概念和任务,并给出了Web信息抽取的评价指标和信息抽取的原理,最后提出了当前Web信息抽取方法中存在的问题以及以后研究的重点。     

Web信息抽取中的数据交叉定位

传统的Web包装器语言通过单一的路径表示方法对数据在HTML页面中的位置进行定位。当页面的变化超出其容忍范围时,只能由人工或者智能程序重新生成包装器脚本。本文提供了一种基于交叉定位的数据定位方法,当HTML页面发生变化时,在包装器层次上实现包装器脚本的自我修复。实验结果表明,使用交叉定位的Web包装器在没有降低信息抽取性能的情况下,大幅提高了包装器脚本对HTML页面变化的容忍度。     

基于Web的电子期刊元数据信息抽取方法

通过对各种Web信息抽取方式的分析,将一种新的抽取方法应用于电子期刊信息抽取.该方法首先应用文档结构相对路径结合节点内容特征进行相似度比较来完成对所需抽取信息块的精确定位;然后对于需要抽取出来的各个信息项则采用正则表达式构造文本信息项的特征模式;在此基础上,实现准确抽取.测试结果表明:基于Web的电子期刊元数据信息抽取方法在查全率和精确度方面高于一般的信息抽取方法,取得了比较令人满意的效果.     

一种面向属性的论坛自动抽取方法

基于现有网上论坛信息抽取的不足,提出一种面向属性的论坛自动抽取方法.该方法运用论坛概念模型(Ontology)自动构造包装器,较好地解决了现有的抽取方法准确性差、通用性不强的问题.试验结果表明提出的方法是有效的.     

基于XSLT和XPath的数据转换技术

异构数据源间的数据共享是数据库研究的热点和难点.分析了当前信息发布技术的局限,以及现阶段应用XSLT、XPath和DOM查询XML数据的可行性;提出了一个应用模型,并用一个实例说明编程方法;介绍了使用XSLT技术来解决数据转换问题,使用Java将其封装为中间件.该中间件可以方便地移植到需要数据转换的软件系统中,解决了软件产品中关系型数据间的数据共享问题.     

基于XML的异构数据集成平台--eXceed设计与实现

分析异构数据集成中常用的3种体系结构的特点,提出了一种基于XML的Mediator/Wrapper解决方案,并实现了一个通用异构数据集成平台—eXceed.该平台克服了现有数据集成平台＂窄＂和＂专＂的缺陷,实现了多种数据源的弹性扩展,并提供对集成数据源的全文索引功能以及对专有关系数据库的引擎.     

Web的半结构化数据抽取的方法及其实现

Web数据存在方式的特殊性使Web数据控制变得十分复杂，把现有的Web页面转换成XML可以使那些熟悉Web最常用技术的开发人员能快速而便捷地获取他们所需的以Web方式发布的信息．描述了从目前存在的最大信息来源-万维网-抽取信息的方法和实现过程．     

异构数据集成方法研究

异构数据集成可分为实际存储方式和虚拟方式两种.主要介绍后一种方式中的基于包装器/中介器(w rapper/m ed iator)的信息集成方式.它通过在全局模式和数据源模式间建立映射关系,实时地对各个数据源进行查询,适用于数据源众多,数据量庞大,数据变化快的情况.它有4种映射方式,LAV、GAV、GLAV和BAV.对同一数据情况分别采用4种映射方法进行对比.最后总结各种方法的特点,及未来发展方向.     

Web内容抽取及其数据管理方法

随着Internet及其相关技术的飞速发展,WWW已成为最大的信息集散地,无论对企业还是个人,Web逐渐成为最主要的信息来源,然而由于网站数量过多以及由此带来的信息泛滥,使得有用信息的获取越来越困难,搜索引擎只能提供信息的查找范围,而具体的内容还是要靠详细搜查,而且网页信息都是非结构化或半结构化的,无法直接利用分析工具进行分析,所以有必要提供一种网页内容自动抽取及使网页数据结构化的方法,来简化信息获取的过程和方便信息分析处理。     

基于索引路径的深度网页数据抽取改良

介绍了基于索引路径的数据抽取算法的不足,从代码角度和用户需求角度2个方面进行考虑,提出了一种进改良措施,有效地提升了数据抽取的准确率,从而大大减少了数据冗余．由于补充了记录、有效数据等定义,使得抽取出的数据仍然保有其在网页中的结构关系,为之后的语义标注工作带来了极大的方便,为深度网页（Deep Web）数据集成奠定了良好的基础．     

基于样本实例的Web信息抽取

主要研究了基于HTML文档的信息抽取,提出了一种基于样本实例的Web信息抽取的方法.用户首先选定样本页面和预先定义模式(基于O-R模型),然后对样本页面和其中的样本记录进行标记、学习,形成信息抽取规则,并存入知识库;利用知识库对其他同类页面自动抽取所需的信息,存入数据库中.本方法可用于Web查询,也可用于信息集成的包装器.     

基于树自动机的网页数据抽取

为了自动将数据从HTML网页中抽取出来,采取树自动机推断方式进行数据抽取.核心思想是将样本网页转化为二叉树并构建出能够接受这些网页二叉树的树自动机,利用所得到的树自动机对待抽取网页的接受和拒绝状态进行数据抽取.该方法充分利用了HTML文档内在的树状结构,设计了简单方便的样本网页标注形式.实验表明,该方法的抽取性能在查全率和F值方面优于其它的一些数据抽取方法.     

Java XML与面向Web的智能数据抽取

采用标准Web技术——HTML，XML和Java，开发一种基于Web用Java把Web数据转换为XML的数据挖掘方法．该方法标识数据源并把它映射成XHTML，根据一定的相关关系查找数据内的引用点并进行智能数据抽取，将数据映射成XML．这种数据抽取方法比较简单，通过选择可靠的数据源以及在这些数据源中选取与内容相关但与格式无关的锚点，可以较为方便地建立一个强壮的数据抽取系统．     

一种基于非线性特征提取的数据降维算法

为了获得良好的图像分类效果,需要采集尽可能多的图像数据特征,进而使得图像原始特征空间的维数越来越高,造成维数灾难.特征提取是通过线性或者非线性映射,将高维特征空间映射到低维空间,从而降低数据维数.现有的特征提取算法往往忽视了数据本身特有的复杂结构以及非线性因素,造成映射方向的模糊以及分类精确度的缺失.充分考虑了图像数据本身的二维特性,通过改进的非线性特征提取方法、流形学习方法来提取图像特征.实验表明,该算法在不影响图像分类效果的前提下可以大大降低数据维数,减少计算复杂度.     

基于自动生成模板的Web信息抽取技术

在网络舆情分析中,人们迫切需要自动化的工具在海量信息中抽取所需要的信息,以供进一步分析利用.针对此问题,提出了基于自动生成模板的Web信息抽取方法,可以消除网页噪声,快速有效地抽取所需的网页信息.该方法通过解析器将Web文档解析成文档对象模型,根据用户需求建立抽取规则,采用自动生成模板机制,并依据模板的抽取规则对网页信息进行抽取.实验证明,该抽取方法具有较高的召回率和准确率.     

Automatic Data Extraction from Websites for Generating Aquatic Product Market Information

The massive web-based information resources have led to an increasing demand for effective automatic retrieval of target information for web applications. This paper introduces a web-based data extraction tool that deploys various algorithms to locate, extract and filter tabular data from HTML pages and to transform them into new web-based representations. The tool has been applied in an aquaculture web application platform for extracting and generating aquatic product market information. Results prove that this tool is very effective in extracting the required data from web pages.