航空公司微博评论的意见信息抽取研究——以国航、南航和东航为例

如今越来越多的乘客选择乘坐舒适快捷的飞机出行,中国航空运输需求因此逐年增长,航空公司在获得更多盈利空间的同时也面临激烈的竞争.对航空公司的用户评论进行意见信息抽取,不仅可用于航空公司改进服务质量和用户体验,还可为用户选择满意的航空公司提供参考.文章首次以新浪微博平台上航空公司的用户评论为基础数据,利用条件随机场进行意见信息抽取.在有关研究中,专家学者大多凭借以往知识的了解对特征对象和特征词进行人工标注,鲜少分析用户在本评论语料中的关注点.因此,文章创新性地在人工标注前首先利用TF-IDF算法进行关键词提取,找到本评论语料中用户的关注点,最后以超过93%的F平均值证明模型的有效性,为后续的研究提供了新方向.     

基于主题模型的半监督网络文本情感分类研究

针对网络评论文本的情感分类问题中存在的数据的不平衡性、无标记性和不规范性问题,提出一种基于主题的闽值调整的半监督学习模型,通过从非结构化文本中提取主题特征,对少量标注情感的文本训练分类器并优化指标调整闽值,达到识别用户评论的情感倾向的目的。仿真研究证明阈值调整的半监督模型对数据非平衡性和无标记性具有较强的适应能力。在实证研究中,对酒店评论文本数据构建的文本情感分类器显示该模型可以有效预测少数类评论样本的情感极性,证实了基于主题模型的闽值调整半监督网络评论文本情感分类模型在实际问题中的适用性与可行性。     

基于KNN和Bayes算法的组合分类器的垃圾评论识别研究

产品垃圾评论在一定程度上影响了评论信息的参考价值,本文旨在建立识别模型将垃圾评论从评论文本中剔除,保留真实的产品评论。首先,分析了产品评论的特点,从数据搜集、文本预处理、互信息检验、文本表示4个模块提取了14个特征。然后,利用高互补性建立了基于KNN和Bayes算法的组合分类器模型。最后,利用交叉验证对iPhone 6Plus的产品评论进行检验,得到评价指标分别为:正确识别率75.3%、召回率82.1%以及F1值77.5%.     

一种基于语义关系与条件随机场模型的电子商务情感评价单元识别方法

为了解决海量电商评价信息中每个评价对象的情感倾向性和评价对象与评价词不匹配问题,提出一种结合句法关系与语义关系的多粒度条件随机场模型抽取评价单元方法SSMCRFs (syntactic semantic and multi-grained conditional random fields,SSMCRFs).首先,爬取京东商城的评论数据为基础数据,将评论文本进行句法关系,语义关系等处理;然后,使用TF-IDF算法对预处理后的数据集进行统计分析,以确定用户的关注度;最后,使用条件随机场模型进行评价单元识别.实验结果表明,SSMCRFs在识别评价单元上准确率达到92.92%,召回率达到93.25%,F值达到93.08%.相对于马晓君等(2017)的方法,SSMCRFs方法在准确率,召回率,F值上均有较大的提高.     

基于文本挖掘和AHP-Fuzzy模型的机坪管制运行状况评估

国内大部分机场已实行了机坪管制移交工作.目前尚无一套较为完善的评估体系,对机坪管制运行效果进行量化评估.采用文本挖掘方法,提取文本数据的高频词作为评价指标的来源,构建了机坪管制运行状况评估指标体系;建立了AHP-Fuzzy模型并评估A机场的机坪管制运行现状,评估结果显示良好;通过对比专家权重的结果,发现与本模型评估结果...     

基于网络结构特征的大规模虚假评论群组识别

目前识别虚假评论的方法主要基于评论内容的文本特征和评论者的行为特征,然而评论文本与评论者行为容易被伪造和模仿,且这两类方法只能对虚假评论逐个识别,本文考虑了虚假评论的网络结构特征,通过分析评论者的网络行为及评论者节点间的网络结构特征定义相邻节点多样性与自相似性,利用累积分布函数估计其概率并合成网络行为得分,以得分高的可疑产品为种子建立2-hop子图,筛选子图中高度相似的虚假评论候选群组,利用GroupStrainer、HDBSCAN等算法对其进行聚类合并,以发现隐藏的虚假评论群组。以亚马逊四类最畅销的产品数据集为样本进行实证分析的结果表明,文中提出的方法能够有效识别隐藏较深的大规模虚假评论群组,综合群组内容的统计特征分析发现,虚假评论群组对目标产品的攻击模式存在产品类别差异,虚假评论群组比真实评论者对目标产品具有更强的集中度,但同时也会利用其它非目标产品对自身进行伪装以弱化其可疑性。     

舆情短文本挖掘的数学模型及其实现

传统针对文本数据的分析,往往基于词频、词频逆文本统计量作为文本的表示特征.这类方法往往只反映了文本的部分信息,忽略了文本的内在语义特征.本文研究了中文词语衔接的概率语言模型,其基本思想在于根据文本中词语出现的先后顺序进行建模分析,该模型在短文本数据挖掘中能够很好地针对文本语义进行量化分析.主要解决两类问题:一、如何合理地将中文词转化为数字向量,并且保证中文近义词在数字空间特征上的相似性;二、如何建立恰当的向量空间,将中文文本的语义和结构特征等信息保留在向量空间中.最后结合某城市房屋管理部门留言板的实际留言文本数据,利用BP神经网络和RNN网络两种算法,实现概率语言模型的求解.与传统文本处理方法的对比说明,本文的模型方法针对短文本语义挖掘问题具有一定的优势性.     

利用文本挖掘数据检测观念意识重大转变的非参方法研究

通过文本挖掘获得的词频数据对观念意识转变进行测度,利用认知行为特征对观念更新序列进行建模.为了能检测观念意识发生重大转变,采用Monte Carlo实验对两个基于非参的转折点分析方法进行了比较分析.主要发现是:1)根据观念意识转变的认知行为特征所构造的模拟实验,基于CPM框架下的三种非参检验方法,Mann-Whitney检验在检测转变点的功效水平和精确度上要优于Cramer-vonMises和Kolmogorov-Smirnov检验.2)基于偏离测度的非参迭代方法E-Divisive对转变点的检测性能总体上要优于CPM框架下的三种非参方法,但后者可以对容量较小的样本数据进行检测.3)利用文本挖掘,可以将以前只能语言描述的观念意识演进特征进行量化,并用图形分析进行直观呈现,成为一个有价值的实证分析工具.最后对文本挖掘数据作为一种非随机抽样数据,如何保证统计有效性做了补充讨论.     

基于双因素理论的消费者满意度动态监测模型研究

为了提出大数据时代的消费者满意度动态监测方法,帮助企业实时了解消费者满意度动态及影响因素,从京东抓取乳制品评论数据,基于双因素理论和文本挖掘方法进行消费者满意度监测,并分析其影响因素.建立了激励因素和保健因素词库,构建了消费者满意度动态监测模型并绘制动态监测图,分析了满意度波动的原因.乳制品评论数据的实证表明,该模型能够有效监测消费者满意度,并分析波动的影响因素.     

考虑公司信息披露情绪的欧式脆弱期权定价

从公司信息披露的角度来看,定量数据直观地反映了公司的经营和财务状况,而描述性的非结构文本信息是对定量数据的有效补充。本文从公司年报中挖掘信用违约文本信息,构建语调变量情绪指标,以调控脆弱期权的违约临界值,改进经典的Klein欧式脆弱期权定价模型。研究表明:随着语调变量指标的增大,欧式看涨看跌期权价格呈递减趋势,且指标越接近1,期权价格递减速度越快,说明期权价格对负向情绪更加敏感,符合金融市场实际情况。此外,应用研究发现不考虑情绪指标的Klein模型倾向于低估期权价格,考虑公司信息披露情绪的脆弱期权定价模型能更准确地分析财务困境对信用风险的影响,结果更贴近实际情况。     

基于在线评论的乘用车需求趋势分析方法

提出一种基于在线产品评论的竞争情报挖掘方法,将网络评论文本中的关键信息应用于乘用车设计开发中。结合LDA和TF-IDF算法,从主题特征和情感态度特征获取不同车型评论主题情感倾向性估值,并对应2009—2019年的乘用车销量,构建用户偏好分析的面板数据模型。结果显示：该方法能够有效地提取网络评论情报信息;通过与年份的交互作用分析产品需求趋势,过去11年间消费者只对油耗的关注度降低了8.64%,对动力、空间、外观、内饰和舒适性的关注度分别上升了3.16%,6.80%,89.69%,13.38%和18.47%。其中,与生活品质更加密切的外观、内饰和舒适性等指标的增量远高于传统关注的动力和空间指标。这表明燃油经济性越来越不受关注,已不再成为消费者购买乘用车的决定性因素。     

基于在线评论的多个竞争制造商和零售商的产品定价策略

在线评论作为一种产品信息传播载体,越来越受到网上电商及消费者的重视,并在很大程度上影响消费者的购买决策。本文在多个竞争性制造商为在线零售商提供可替代性产品并通过零售商销售给网络消费者的电子商务环境下,研究在线评论信息如何影响网络消费者购买决策及在线零售商和制造商的定价策略。以neo-Hoteling模型为基础,构建了依赖零售渠道在线评论的消费者选择模型,并通过模型求解定量分析了二级供应链结构分散系统下在线评论对多个竞争性制造商及零售商最优决策的影响。得到当制造商基于评论制定最优定价策略时,在线评论对市场竞争强度没有影响,但决定潜在市场大小;各产品的均衡批发价及销售价按一定的比例随评论揭示的该产品与其他产品质量均值之差(正或负)增加或减少,评论信息通常会使制造商因好评而获利,由于评论增加了不同产品需求的不对称性,零售商因而具有更大的调价空间,往往通过提高(降低)占据有利(不利)评论的产品价格获得更高的利润。     

基于XGBoost的上市企业财务违约预测研究

公司年度报告中的管理层讨论与分析部分是企业信息披露的重要组成.构建表面情感语调STONE和隐含违约倾向IPD两个文本特征指标对年报中管理层讨论与分析的定性文本数据进行量化,并提出了一种基于XGBoost的上市公司财务违约预测模型,该方法对上市公司财务违约实现了较好的预测效果.根据特征重要性排序对特征与财务违约之间的关系进行挖掘,进一步利用敏感性分析验证了表面情感语调和隐含违约倾向指标的有效性.     

股吧和交易:股吧中的信息内容研究

利用中国最大的股吧2011年1月至2014年6月的数据,研究了中国股吧与个股股票市场的关系.采用朴素贝叶斯的文本情绪分类技术,将帖子按投资意见分为"买入"、"中性"、"卖出",构造了情绪看涨指数、意见一致指数、发帖量等股吧特征变量,利用FamaMacBeth截面回归方法,研究股吧特征变量与市场特征变量包括收益率、成交量、波动性的关系,结果显示情绪看涨指数与收益率、发帖量与成交量、投资者意见分歧与波动性之间存在双向的预测作用,说明股吧包含了未反应在当前股票市场价格的信息.利用股票收益率和帖子情绪构造了衡量帖子投资意见的质量,研究股吧的信息传播机制,结果发现高质量的投资意见能够通过股吧帖子阅读量得以传播识别,但不能通过帖子的评论量被投资者识别.另外,有评论和无评论的帖子质量没有显著区别,进一步说明投资者对待不同质量帖子的关注度没有差异.     

基于电子商务B2B平台的个性化定制产品供应链治理结构重复博弈分析

个性化定制产品的供应链上下游企业合作面临着双边道德风险问题,电子商务B2B平台提供了该问题的一种有效治理模式,但是也存在着平台企业索要商业贿赂等自身治理问题。本文构建了电子商务平台的个性化定制产品的供应链治理重复博弈模型,分析了定制化产品的供应链双边道德风险治理结构,以及平台自身的激励问题。研究结果表明,第一,通过电商平台的信息检索服务,可以有效规避双边道德风险问题,达成帕雷托最优的供应链上下游合作。第二,为了加强电子商务平台的自身治理问题,需要采取“按效果收费”制度,完善用户反馈信息记录,尤其是加强行业自律,提高电子商务平台的社会公信力和市场声誉。     

基于MCLP的知识挖掘模型在项目管理中的应用

针对项目管理中不同知识的分类和表达模式,提出了一种基于多目标线性规划的知识挖掘模型.该模型在对文本信息预处理的基础上,采用多目标线型规划方法,实现了对可量化信息和不可量化信息的同时挖掘,从而挖掘出更准确的项目知识模式,实现了项目管理中的知识的再利用,并就应用过程中遇到的具体问题进行了探讨.     

网络环境下考虑目标顾客偏好的服务产品选择方法北大核心CSCD

随着互联网技术的发展,各类电商平台应运而生,所产生的在线评论有助于顾客在购买前更好地了解服务产品.然而,在线评论数量的巨大也为顾客带来负担.为了帮助目标顾客更好地借助在线评论从众多的同类型服务产品中找出符合其偏好的服务产品,文章提出一种考虑目标顾客偏好的服务产品选择方法.首先,根据相关电商平台上的在线评分和文本评论,采用K-Means算法确定服务产品的评价维度;其次,基于概率分布理论,确定基于在线评分的备选服务产品针对各评价标度的概率分布;然后,采用卷积神经网络对文本评论进行情感分类,进而确定基于文本评论的备选服务产品针对各评价标度的概率分布;进一步地,构建总体规范化评价值矩阵;之后,考虑目标顾客关于评价维度的偏好,确定评价维度的相对权重,并运用TODIM方法获得备选服务产品的排序结果;最后,以携程网上的在线评论为依据进行实例研究,说明了该方法的可用性.     

基于SVM分类模型的垃圾文本识别研究

主要研究垃圾文本识别问题,利用苹果手机评论文本特征向量建立了SVM分类模型对垃圾文本进行识别,并与BP神经网络判别模型结果进行对比,得出苹果手机前400组训练样本的判别正确率为71%,后196组测试样本的判别正确率为70.12%.故得到,影响垃圾观点文本识别效果的主要原因为:1)评论文本的特征项的提取和文本特征空间向量求解.2)判别分类方法的选择,其中SVM文本识别效果最优.     

基于BERT的短文本分类模型及在铁路CIR设备故障诊断中的应用

在设备故障诊断领域,操作说明、维修记录等文本数据具有极大的应用价值,充分挖掘和利用这类数据能大幅度提升故障诊断的工作效率.现有研究常用语义特征抽取及无监督聚类方法挖掘文本数据,辅助进行故障定位,但这类方法通常无法解释故障原因和给出提供相应维修方案的理由,据此生成的故障维修方案不易于理解.文章基于现有的成熟预训练语言模型BERT (bidirectional encoder representation from transformers),提出了一种基于BERT的短文本分类模型和知识图谱结合的故障定位方法,以充分挖掘和利用铁路CIR设备的文本数据中蕴含的知识和规律.所用方法首先基于CIR设备的功能层次关系确定故障模块,然后借助基于BERT的文本分类技术实现故障的初步定位,最后结合知识图谱进一步确定故障原因等信息辅助进行故障诊断,基于知识图谱积累的故障诊断知识提供故障维修方案易于维修人员理解,有助于知识的管理和工程效率的提升.在文本分类技术方面,文章利用铁路CIR设备故障维修台账记录数据进行实验,实验结果证明,基于BERT的短文本分类模型相较传统分类模型在性能上有较大的提升;在故障诊断方...     

大数据背景下的商品需求预测与分仓规划

商品需求预测对于电商企业意义重大,对阿里电商平台的交易数据进行挖掘以获取有效特征,利用特征建立模型对未来两周这些商品的需求进行动态预测,并基于预测结果和成本最小的原则提出分仓规划建议.预测模型选择随机森林做回归,然后在残差分析的基础上建立报童模型求解分仓的库存规划.对特征数量众多的电商交易数据挖掘所建立的模型有助于电商企业进行有效的商品需求预测并据此制定成本更低的分仓规划.