文本大数据与自然语言处理分析

作为现代计算机科学领域的重要研究方向,文本大数据与自然语言处理的结合程度日益提升,大有集语言学、计算机科学、数学于一体的趋势。文章对文本大数据与自然语言处理的有关概念进行了介绍,并阐述了文本大数据与自然语言处理融合运用的有关思考,希望为读者提供一定的参考。     

大数据文本挖掘在广播电视中的应用与探索

本文在提出一种基于多种人工智能技术的媒体创新平台,详细讨论了广电大数据文本挖掘在传统广播电视领域中的应用与探索.提出了业界首个基于五大模块(依据工作流的处理方向,依次为互联网数据检测与收集模块、数据筛选与预处理模块、数据分析与特征提取模块、数据统计与分析模块、以及数据可视化模块)的广电大数据分析平台,并给出了技术框架设计与各模块的实现框图,给出了最终平台实现的数据可视化界面.     

大数据环境下的文本信息挖掘方法

文本信息挖掘有利于提高文本信息的查找和利用效率,针对传统方法存在的问题,提出文本信息挖掘方法。首先提取文本信息术语,估计信息内容与文本类别间的余弦距离,结合模糊规则推理和余弦距离得到隶属度,然后根据均值密度的中心估计方法得到文本数据集合的平均密度,确定文本信息聚类中心,删除远离文本信息聚类中心的奇异数据点,实现大数据环境下文本信息挖掘。实验结果表明,该方法能够有效提高文本信息挖掘的查准率,而且具有较强的可扩展性。     

面向网络论坛的文本数据获取与存储方法研究

针对网络论坛文本数据的特点与网络论坛的结构,提出了一种网络论坛文本数据获取与存储方法.先采用Browser/Server架构云构建网络论坛数据系统框架,再依托网络爬虫技术实现对网络论坛数据的收集,然后基于Bi-LSTM网络搭建主题相关性文本数据过滤系统,最后采用MySQL和MongoDB数据库,构建数据存储方案.系统设...     

基于云计算环境的大数据兼容性存储系统设计

为了更好地适应环境的发展、推动科技的进步,针对网络数据实时与异构的特点进行研究,结合云计算方法对网络数据检测储存系统进行创新和优化,提出大数据存储系统的创新设计方案,并设计基于云计算的大数据储存处理模型。通过云计算方法对网络数据信息的特点进行分析,对数据模型的扩展、存储以及并行处理问题进行研究,从而对数据存储系统进行优化创新,以便提高系统的实用价值。最后通过实验对系统性能进行检测,实验结果证实,该系统相比传统系统信息储存效果具有较高的优越性,有效达到了设计目标。     

基于语义推理的文本信息关联关系分析技术

重点论述了文本信息中的知识发现及潜在关联分析技术。采用本体建模技术、信息抽取技术以及知识库上的语义推理技术等来完成并实现文本信息的关联关系发现和分析,最后给出了语义关联分析技术在文本信息处理系统中的应用,并简要描述了系统的处理流程。在信息处理领域的大数据环境下,该技术有利于信息分析人员快速获取关联线索,辅助完成信息挖掘,为指挥决策提供更全面的信息支持。     

基于大数据平台的教学资源共享系统访问量实时统计

在大数据时代数据呈现几何级的数量增长,传统单机服务器架构的教学资源共享系统已经不能存储处理大量的数据,需要建设大数据平台进行存储处理.基于大数据平台的教学资源共享系统是在教育信息化方面构建教学资源共享系统,其存储容量大,处理数据计算量大.用户在访问教学资源时,对其访问的教学资源数据进行实时访问量统计,应构建大数据平台,利用Hadoop的分布式文件存储并通过Spark的内存计算实现教学资源实时访问统计.然后用数据可视化技术将用户访问统计结果显示出来,以便查看用户对教学资源的使用情况,对后续教学资源建设提供依据.     

基于结构方程建模的高校教学管理数据统计系统的研究

提出一种基于结构方程建模技术的高校教学管理数据统计系统。该系统使用B/S体系架构获取和存储高校教学数据,提取关键教学信息并使用结构方程建模技术构建教学统计分析模型,根据教学内容、教学方法、教学态度和教学效果这4类变量对教师教学质量进行定量分析。用Smartpls 3.0软件对某高校2015—2016学年教学数据进行了仿真。仿真结果表明,所建立的模型能有效地拟合教学数据,解释了影响教学质量的因素,为教学质量统计分析提供一种更公平、更合理的方式,同时促进了教学方式的改革与创新。     

基于大数据分析的智能交通系统

大数据发展至今,已为众人所知,被众多行业和企业所用。尤其在天文、气象、医疗健康等领域已取得较好的应用价值。我国是汽车大国,快速发展的汽车行业也随之带来了城市交通拥堵和污染严重等诸多问题。如何将汽车与大数据有效的融合,通过大数据为政府决策提供数据支撑,为智能交通做贡献。     

基于语义分析的倾向性文本过滤

采用基于统计的文本过滤技术对具有倾向性的文本进行过滤的效果并不理想,原因在于基于统计的方法忽略了文本中的语义约束,无法有效识别倾向性信息。本文提出一种基于语义分析的文本过滤技术,将文本中的语义关系加以考虑,能高效地识别和过滤倾向性文本信息。     

面向司法大数据的文本主题OLAP系统

随着大数据技术的发展,加强司法大数据应用成为推进司法现代化建设的重要手段,如何处理司法大数据中的非结构化数据亟待解决.为此,本文提出了面向司法大数据的文本主题OLAP系统.在离线数据处理模块中,设计了Span数据模型,并定义了多种针对该模型的操作符;设计了基于规则的文本行政区划归类方法,并构建了主题立方体.在线上查询模块中,实现了基于倒排索引的关键词搜索方法和最大独特主题范围查询,提供了上卷、下钻、切片等功能.通过在大规模的真实数据集上对系统进行测试,实验结果证明了该系统的合理性和实用性.     

基于数据可视化的农民工异地医疗分析系统

如今各个领域的数据展示中都广泛应用数据可视化技术,特别是在Web应用方面,各种类型的网站都在使用数据可视化技术丰富和美化页面,从而吸引用户的眼球。然而,数据可视化技术是一个涉及到多种学科和技术的交叉领域,研究人员很难掌握所有相关的知识。随着Web2．0时代的到来,大量可视化组件的研发解决了这个问题,使得可视化技术的应用更加得心应手。在讨论数据可视化概念的基础上介绍了农民工异地医疗数据分析系统及系统中数据可视化的应用,并描述了系统中运用的可视化组件及实现方法。     

基于MATLAB的数据采集与分析系统设计

数据采集与分析是科学实验的一种重要手段,也是信息科学的重要分支之一.基于MATLAB的数据采集与分析系统可以高精度,低成本的完成数据的实时采集.利用MATLAB强大的数值计算能力,通过调用它所提供的函数,可以完成数据的分析工作.分析了该类系统的设计过程和MATLAB二次开发编程的实现.     

无线电监测数据统计分析探讨

0前言 　　日常无线电监测是无线电管理中的一项重要工作,开展日常无线电监测,收集和处理监测数据,是描述和评价无线电环境状况,进行无线电管理的基础依据.     

基于短信的统计系统研究

在分析短信统计具有及时性、突破时空限制、成本低、交互性强等特点的基础上，构建了短信统计系统的模型，说明了利用短信统计系统进行统计调查与信息发布的方式，提出短信在统计中应用时应注意安全性、信息传递方式、代码化与标准化、通信网络拥堵与信息丢失等问题，并给出了相应的解决办法。     

基于大数据的网络舆情分析系统

针对互联网数据快速增长和舆情信息飞速传播的问题,提出一种基于大数据的网络舆情分析系统。该系统包括数据采集、预处理、分析和报告汇总四个模块,实现舆情信息的全网自动搜索与采集,大规模舆情数据的格式化存储以及舆情信息的分析、统计汇总等功能。该系统还使用Hadoop平台进行数据处理,并使用HDFS分布式文件系统存储舆情数据,使用MapReduce技术完成舆情分析和报告。仿真结果表明,该系统有助于及时、准确地分析网络舆情,能较好地满足网络舆情分析的需求。