【词频分析工具】使用说明
Excel词频分析工具,对中文文本进行断词分词,并且在Excel中统计显示词频。
中文分词 (Chinese Word Segmentation)是文本挖掘的基础,对于输入的一段中文,成功的进行中文分词,可以达到电脑自动识别语句含义的效果。在分词的基础上,词频分析(Word Frequency Analysis)是对文献正文中重要词汇出现的次数进行统计、分析,是文本挖掘的重要手段。常用的词频统计方式是TF-IDF,有关TF-IDF的说明可参考百度文库的“词频”词条(http://baike.baidu.com/view/920592.htm)。
SCWS是Hightman开发的一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。采用的是采集的词频词典,并辅以一定的专有名称,人名,地名,数字年代等规则识别来达到基本分词,经小范围测试大概准确率在 90% ~ 95% 之间,已能基本满足一些小型搜索引擎、关键字提取等场合运用。
现在这个【Excel词频分析工具】是利用SCWS分词引擎所开发的一个Excel版的轻量级的在线词频统计分析工具,可以对文本文档中的中英文文字内容进行快速语义分词,统计词汇的出现频次,进行TF-IDF排名,并可显示词语的词性。
有关SCWS分词引擎的另一款Excel工具,中文语义分词自定义函数,可以参考《【中文语义分词工具】小程序》一文。
工具使用方法很简单,打开Excel工作簿,在启用宏并且在线联网的情况下,第一步点击【开始使用】按钮
第二步,在出现的【选项】对话框中设定选项,选项内部包含两部分。
第一部分是可以指定仅针对某一部分词性的词语进行统计,例如勾选“名词”和“动词”,就将只对这两类词语进行词频排名统计,而忽略其他词语。如果8个复选框全部留空不勾选,则默认会对所有类型的词语(包含这八种词性以外的词语)进行统计。
第二部分是可以设定排名显示的数量,范围在1~100之间,最多可以显示排名前100名的词语。
这里的排名指的是TF-IDF排名,而并非单纯是词语出现次数的排名。
第三步,需要在电脑中指定需要进行分析的目标文档,这个文档的类型必须是文本文档,可以事先将需要分析的文字内容放置在文本文档中。
上述步骤完成之后,就会立即在Excel当中显示结果。结果包括一份排名表格,其中显示TF-IDF排名、词语、词性以及词频(词语出现次数)。还会有一份条形图显示排名前10位的词语。
图中的示例文件来自于柴静在北京记者协会演讲比赛中讲话内容,来源于http://yanjiang.baike.com/article-50235.html
这个工具跟专业的分析工具相比还是有些差距,但还是适合一些轻量级的小应用,比如分析一下博客、论文或聊天记录,分析某个著名演讲或工作报告等等,娱乐性和实用性兼备。
此工具依托于http://www.xunsearch.com/scws 的网络服务,此工具所使用的网络资源版权均属原作者所有。
如果服务器功能改变或因访问量太大而停止响应,此工具的功能将受影响。欢迎有志者提供长期稳定的分词引擎资源。
本地下载:Excel词频分析工具 (19598)
4条评论
谢谢!好工具
太厉害了,这么小的东西,EXCEL一下,有这么大的用处,佩服到五体投地。。。
楼主,能提供以下代码吗? 我是编程爱好者,想编写出一个比较精确的词频工具。希望你能提供。邮箱:mouse711@sina.com 发送完后跟我说一声,谢谢
请问楼主,这里只选择了一个txt文件,TFIDF是怎么计算的呢?一个词出现在所有文档中的数量,所有文档指的是什么呢??