一种面向隐含主题的上下文树核

该文针对上下文树核用于文本表示时缺乏语义信息的问题,提出了一种面向隐含主题的上下文树核构造方法。首先采用隐含狄利克雷分配将文本中的词语映射到隐含主题空间,然后以隐含主题为单位建立上下文树模型,最后利用模型间的互信息构造上下文树核。该方法以词的语义类别来定义文本的生成模型,解决了基于词的文本建模时所遇到的统计数据的稀疏性问题。在文本数据集上的聚类实验结果表明,文中提出的上下文树核能够更好地度量文本间主题的相似性,提高了文本聚类的性能。     

基于模糊聚类的文本分类器

文章提出了一种基于模糊聚类的文本分类器构造方法,介绍了文本中特征词之间模糊相似度的度量方法,给出了利用“编网法”思想实现模糊聚类的算法。通过比较文本中特征词之间的模糊相似度,实现特征词的聚类,最终获取能够识别文本主题类别的特征词集合,并给出了分类器性能的测试结果。     

基于灰度直方图和谱聚类的文本图像二值化方法

在自动文本提取中,经定位获得的字符区域需二值化后方能有效识别,由于背景的复杂,常用的阈值化方法不能有效分割自然环境下的字符图像。该文提出了一种基于谱聚类的图像二值化方法,该方法利用规范化切痕(Normalized cut, Ncut)作为谱聚类测度,结合灰度直方图计算相似性矩阵,并通过实验确定最佳的直方图等级数,与通常基于像素级相似矩阵相比,算法的空间复杂度和计算复杂性都大为降低。实验结果表明,针对自然场景下的字符图像,该文方法的二值化结果优于常用的阈值分割结果。     

一种改进的FCM检索结果聚类算法研究

针对检索引擎返回的查询结果数量巨大,用户难以在较短的时间获取有用的信息,传统FCM聚类算法的距离无法完全准确描述文本间的相似程度,本文提出了一种新的文本间的距离定义,改进了模糊C均值聚类(FCM)聚类算法,利用新改进的算法对搜索引擎返回的结果进行聚类,方便了用户查询。实验证明了算法的可行性与有效性。     

自动分类模型及算法研究

自动文档分类是信息处理技术的一个重要部分。本文介绍了分类的模型、相似度的计算方法以及分类算法。在分析比较的基础上，选择合适的模型和算法应用于元搜索引擎系统中。     

脱机手写维吾尔文本行字符粘连区定位及分割

在大篇幅的手写维吾尔文文本图像中,往往会出现粘连字符这一现象。这一现象会对文本行分析和笔迹鉴别等研究工作造成影响,同时所处环境为大篇幅手写图像,在对粘连字符切分时会受到其余非粘连字符的较大干扰。针对上述问题,本文提出了对手写文本图像定位线的正确提取方案,以连通域特性为基础,通过定位线与文本图像融合,使行间粘连字符所在文本行为同一连通域想法,可自动提取出粘连文本行,再根据粘连字符所占宽度和高度大于非粘连字符,从而自动提取出粘连字符。对提取出的粘连字符通过定位线可确定出粘连区域,对粘连点所处位置进行统计分析后在该位置处添加一条与背景同色细线从而达到分割效果,最后对分割后的粘连文本行通过着色方法逐行提取。实验表明,上述问题通过我们的方法得到了很好的解决。在实验结果分析中,本文给出了每个算法的性能指标数据,并与其它文献进行了对比分析,论证了本文研究方法的可行性及存在的一些主要问题。     

基于图理论聚类的彩色图像文本提取

本文提出了一种在彩色图像中进行文本区域的自动提取的方法。首先，应用色彩的统计模型，大大减小了图像的彩色空间的大小；其次，使用基于图理论进行彩色聚类。将图像分解成对应各类的多幅二值图；然后，在这些二值图的基础上进行连通分量分析，提取可能的文本区域，并对这些区域进行鉴别；最后，综合各二值图的提取结果，得到原始彩色图像中的文本区域。对于特定的应用，提取出的文本区域经过进一步的处理，可以输入字符识别(0CR）系统中进行识别。实验结果显示了本文提出的方法的有效性．     

Investigating the relevance of Arabic text classification datasets based on supervised learning

Training and testing different models in the field of text classification mainly depend on the pre-classified text document datasets. Recently, seven datasets have emerged for Arabic text classification, including Single-Label Arabic News Articles Dataset (SANAD), Khaleej, Arabiya, Akhbarona, KALIMAT, Waten2004, and Khaleej2004. This study investigates which of these datasets can provide significant training and fair evaluation for text classification. In this investigation, well-known and accurate learning models are used, including naive Bayes, random forest, K-nearest neighbor, support vector machines, and logistic regression models. We present relevance and time measures of training the models with these datasets to enable Arabic language researchers to select the appropriate dataset to use based on a solid basis of comparison. The performances of the five learning models across the seven datasets are measured and compared with the performance of the same models trained on a well-known English language dataset. The analysis of the relevance and time scores shows that training the support vector machine model on Khaleej and Arabiya obtained the most significant results in the shortest amount of time, with the accuracy of 82%.