情感文本短篇_干货:完全基于情感词典的文本情感分析
齐齐哈尔时尚网小编提示,记得把"情感文本短篇_干货:完全基于情感词典的文本情感分析"分享给大家!
原文链接:
在金融数据呈爆炸式下降状况下,金融舆论数据的情感分析得到广大股民和金融公司的热切关注。作者强调一种基于短语的对于金融数据情感分析的方式:将一篇短文本划分为不同的个别并予以不同的权重,再以词汇为基本颗粒进行分数计算;同时,在已有的权威字典的基础上,针对性的添加或更改金融方面的术语,并且使用N-Gram方法来进行新词的挖掘,最终赢得更好的性能。
一、介绍:
诚然,目前没有一种模型可以含括所有的领域,也没有一种字典囊括不同领域的术语。
根据需求,我们将精力放到了金融领域,并且收集了不同来源的高品质的数据集。同时情感文本短篇_干货:完全基于情感词典的文本情感分析,我们对一个包括大多数领域的字典进行了更改,添加和设置了金融方面的专业词汇。由于金融数据的直观性、简洁性特征,我们忽视了术语之前的同义、反义等复杂关系,讲更多的精力投入在针对极性的确认和极性程度的判断方面。在此基础上,设计了一个实用的考量金融文本情感的算法模型。
二、数据准备:
从主要金融的沙龙中获得相关的评论数据然后进行数据清洗。
为了保留新闻媒体针对关键词的标注,在数据收集的之后保留了相应的网站标签和繁体风格。之后的检查工作中看到网页的标签的好处可以忽视不计,因此将原本的网页文本清洗成了简体无标签的文本方式。
如上图图示,考虑到后来使用的是简体中文词典,因此必须将原始文本进行相应的转化。转换后的文本传输在MySQL和手机的文本格式文件中。
三、字典:
3.1.词典来源
由于算法模型是基于短语的情感分析,所以字典的确切性和灵活度针对结果的妨碍至关重要。字典来自知网的情感词库,原始字典按照习惯将术语分为三大类:
1.情感词
-积极评价词
-积极情感词
-消极评价词
-消极情感词
2.程度词:从最重的most程度依次增加到least程度,共5个等级。
3.否定词
基于以上特征,否定词的存在可以拿来判别是否进行词汇的极性反转,程度词的存在可以给与不同的感情词不同的分数,而情感词可以融合成积极词和负面词两个别。基于知网词库的以上特征,将此词库选做基本的情感词典。
3.2词典的数据类型
为了让后期的程序更好的调用词典情感文本短篇_干货:完全基于情感词典的文本情感分析,并且让其对方员更易于的更改词典,将文本txt格式的字典按照分类不同放在不同命名的列表中,使得对应的逻辑更直观,方便其它程序读取。
3.3词典的修改
因为知网的词典是对于所有的领域,因此在金融领域术语的界定上不免有失偏颇,前期我采取人工的方式对词典的三大分类进行了略微调整。调整如下:
1.在积极词()中删除了要,用,开通,需,向,应,欲,通,深,对,会,长,常,上,经济,主要,红,幽,灵,颖,硬,不变,是,明显,约,刚,刚刚,到,事实上,基,基部,基础,基础性,固,固定,可乐,谨,主导,自行,增加了'坚挺','新高','利好','放宽','提升','看好','优于','高于','扭转','买超','强劲','反弹','增','缓解','微升','划算','升高','进展','上升','落实','涨','回升','高开','上涨'。
2.在消极词()中删除了大,怊,悭,悱,愦,胜,偏,增加了'倒退','下试','不利因素','紧缩','劝退','乏力','齐挫','贸易矛盾','矛盾','拖累','回落','负债','跌','跳水','鸡肋','沙尘暴','阴霾','钱荒','压力','贬值','利淡','下降','造淡','极端','欠佳','走低','急跌','重挫','周跌','月跌','连跌','背驰','缩减','妨碍','强拆','批评','故障','致歉','减速','减弱','衰退','下滑','严重','急转直下','灰飞烟灭','偏软','丑闻','贪污','倒退','急挫','挫','低见','跌','冲击','大跌','涉嫌','亏损','下跌','纪律处分','处分','赤字','缩水','打击','开门黑','降低','追讨','违法','警告','阴影','变数','不佳','落幕','违法行为','违约金','欺诈','隐患','暴跌','跌穿','受压','连累'
3.在否定词中删除了偏,增加了'无','不','不是'
4.在程度词中增加了'百分之百','特别','重大',"大幅",'半点','小幅'
3.4命名实体的添加
因为分词采用的是第三方Jieba词库[1],为了提高分词情况,对于金融领域常用的命名实体,例如:美联储(金融机构)、吉利汽车(公司/企业)、港股(股票)等进行了添加,以此来降低分词的出错率,提高算法具体度。
四、情感分词算法
4.1文本分块
一篇文本,通常由不同的个别的构成,而每个个别的重要程度不同。对于一篇金融新闻,在文本长度足够的状况下,给定'',''这两个参数,分别代表[0:]句和[-1:]句。这两个别分数的权重()相比于中间部分[:]的权重更高。
其实,当一篇文本过短时,我们觉得它不够足够长来进行分块,即[0:]∩[-1:]≠?,此时将忽略''情感文本短篇,''这两个参数,全文采用统一权重来计算分数。
为了避免首尾权重()针对文本整体的制约过大,以至于算法忽略文本[:]部分的分数,我们将首尾的部分得出的分数除以对应的速率,即:
公式:用于[0:]和[-1:]两部分。其中s对应每部分积极或负面情感分数,p对应每部分积极词或负面词的频度,w是每部分的权重。
4.2积极词/消极词
针对中文(无边界语言)界定词语,考虑到速度和第三方库的看到新词能力,我们使用了jieba分词库。将文本中的切实词和负面词结合词典挑选出来,并且每位给予一个分数,在此基础上,我们进行极性反转和程度词的看到。
4.2.1极性反转
词语的极性不必定只由原本决定,一些否定词的使用会让句子的极性反转。考虑下面两种最常用的状况(‘’号代表jieba词库的动词结果):
1.不是不好
2.不是很不好
然而可以看到需要在词语的位置向前搜索1或2个位置,来查找否定词,然后进行极性反转。
4.2.2程度词搜索
针对不同的情感词,每个情感词的分数绝对值的大小取决于程度词。因此类似于极性反转,程度词的搜索采取同样的方式,这里,我们也考虑两种常用的状况(‘’号代表jieba词库的动词结果):
1.非常不好吃
2.不是很好吃
由此可见,程度词的发生位置和否定词相同。同样的,我们在词汇的位置处向前搜索1或2个位置,根据程度词的程度大小,对分数除以不同的系数。
4.2.3公式计算
此外,之前的公式右式中的(i)可以写成以下的格式:
公式:-1的指数t取决于能否极性反转,k代表的是程度词的程度,word(j)是每个词的原始分数。
4.3基于程度词频的优化
实际运行过程中,我看到程序的时间很长,尤其是针对长文本的之后。究其理由,是在之前的极性反转和程度词的判定中,为了穷尽常见的状况,子分支的判定语句更加多。为了避免程序在子分支语句方面判定的时间消耗,采用赫夫曼树[2]的优化思想:将'if-else'理解成递归树,由于不同的程度词在日常语言中发生的频率是不同的,因此,可以将''和''首先判断,再依次判断''、''和'',来超过树的加权模式最小的目的,实现对算法性能的改进。
4.4首尾权重的调优
在第一个公式中,针对首尾两个别的情感分数的计算是有参数''。这里我挑选了2017年5月底第一个交易周的所有样本进行了人工新闻情感的标注。在此基础上,设置''的调整步长为0.1,从1开始,以(1,5]为区间,计算每个''的给与的精确度,来选出最优的''参数。
从图中显而易见的看见,正确率最高是89.55%,对应的权重是1.4103。因此,我们将权重设置为1.4103。
4.5分数界线的确定
在实际的测试过程中,我看到一些状况下,当分数过大的之后,结果通常是不确切的。比如有些之后分数超过
惊人的40多分,文本信息容量过大,不能简单说其是积极或负面或中性的。为了缓解这一问题,首先忽略分数的符号情感文本短篇,即:取分数的绝对值(|score|);但是选择以测试样本最多和时间最靠近的2016上半年,统计分数的在上半年的状况。结果如右图图示。
容易看到,150分以上的分数出现的几率特别小(样本容量17710)。因此,我们在随后的预测中,针对这个算法模型得出的分数,专门检测150分数以上对应的新闻,由此来确认突发状况以及识别无用的新闻。在此基础上,我又选择了2016年季度的新闻分数,并且作出了相应的频度分布直方图。