探讨文本挖掘在互连网关键词中的应用 ——以新浪体育国际足球新闻标题为例

在数据分析技术中,文本分析的使用一直是一个较少被涉及的领域,特别是有关中文文字的文本挖掘。

文本挖掘大致可由三部分组成:底层是文本数据挖掘的基础领域,包括机器学习、数理统计、自然语言处理;在此基础上是文本数据挖掘的基本技术,有五大类,包括文本信息抽取、文本分类、文本聚类、文本数据压缩、文本数据处理;在基本技术之上是两个主要应用领域,包括信息访问和知识发现,信息访问包括信息检索、信息浏览、信息过滤、信息报告,知识发现包括数据分析、数据预测。其中需要付出大量人力物力的是文本信息的提取及内容分类,尤其对于中文来说不同领域不同行业的关键词术语各不相同,因此,构建一个适用于不同行业的关键词库显得尤为重要。

不过基于中文的文本挖掘也有非常多的使用,比如各大媒体的2011十大关键词盘点。比如前段时间零点E-lab研究室所绘制的中国唐诗及宋词的关键词构成,非常的有趣,将古人诗歌的高频或者说比较潮的词汇都捕捉到了。并且才用网络分析图的方法将各个关键词之间的联系清楚的展现出来,甚至部分读者能够根据该网络图自己推敲出一些经典的诗句。怎么样?能够分辨出那张图是分析唐诗的,哪张是宋词么?

言归正传,笔者也在处理有关文本分析的内容,正好借此分享一下文本分析的方法。

正如前文所述,中文的文本挖掘集中在关键词库的建立,在没有专门软件的帮助下,使用“人工智能”倒是一个权宜之计。而人为建立关键词库的要点就在于编码,要求编码人员对关键词有相当的经验及足够的敏感度,如是多人编码还需考虑到团队的个性差异及分工协作等要素。

笔者选择将新浪体育网站中国际足球版面的新闻标题作为研究对象(不选国内足球的原因你懂……),希望通过文本挖掘的方法以小见大的分析发现新闻编辑的个人特点及标题撰写的“潜规则”。

首先,笔者选择了2011年7月1日至2011年12月20日的新闻标题作为研究对象,在这个时间段中包括了大型杯赛(美洲杯)、转会期、日常联赛等内容,应该说涵盖了足球活动中可能出现的大多数新闻报导,共有25,598条新闻标题。

新闻大致分为三大类,即:图片、文字、视频。

经过整理,笔者共筛选了500多个关键词,如:转会、队长、传奇、名单、大将、赞、新星、对手、训练、国脚、锋霸、点球、VS、主场、天王等等。这些关键词的筛选,笔者筛选关键词的依据主要有以下几点:

l  与体育活动相关,可是场外或者场内

l  属于日常用语,不能造词

l  需要是通过词汇,即具有普适性,比如像“贝克汉姆带儿子逛街”就不作为关键词,因为其他球员出现类似情况的概率很低。

l  尽可能多的找,然后整理。比如“小小罗”和”C罗”是同一个人,但是笔者将其作为两个关键词。

 

废话少说,下面就晒一下对这些词的分析结果:

概述篇下面列出三大类新闻标题的关键词排名,图片类以“庆祝“、”训练”、”进球”为代表;视频类新闻以“进球”、”破门”、”梅西”为代表,主要和球场活动有关,而与前两类有较大不同的是文字类新闻,排名靠前的分别是”梅西”、”宣布”、”首发”、”C罗”、”官方”等,包含内容较多,并且纵观整个文字新闻页面,使用的高频形容词是最多的。

 

人物篇在排名前20的词汇中共出现三个人物名称:”梅西”、”C罗”、”穆帅”。作为球员前两人在图片及视频中占了较大比重,而穆里尼奥是唯一跻身新闻关键词前20的教练员。

                 

技术篇在排名前20的词汇中,涉及足球比赛描述的词汇主要集中在视频中,其次是图片,而文字新闻中场外内容占了较大篇幅。

 

写作篇那么,怎么写好新闻标题,或者怎样写出新浪体育的标题?为了解决这一问题,笔者将所有标题涉及的前100个新闻标题进行相关性的网络分析:

 

经过整理后如下,怎么样,可以汇总一条新闻标题么?

时间: 2024-09-18 19:52:21

探讨文本挖掘在互连网关键词中的应用 ——以新浪体育国际足球新闻标题为例的相关文章

天涯问答 必是下个互连网热点

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断淘宝客 站长团购 云主机 技术大厅 今天忽然看到ADMIN5中出现这么一篇文章<Google寄养问答和来吧有什么企图?> 我个人 认为这个作者的评论看似有道理实际上却是对GOOGLE的不了解所造成的,关于GOOGLE这次的观点我个人非常的认同也非常的欣赏, 下面就讲部分 几点个人看法. 1.GOOGLE为什么自己不做问答? 因为GOOGLE一直认为他是一个搜

具体函数-急,求解 .. 表中有一个关键词字段,现有1000条数据,关键词中不重复的词语。

问题描述 急,求解 .. 表中有一个关键词字段,现有1000条数据,关键词中不重复的词语. 1.mysql数据库中有一张表,现有1000条数据.表中有一个关键词字段,每个关键词都是由多个词组成的数组.用"|"或","或用空格分开的.现在要求得到所有关键词中不重复的词语. 例:关键词:01. 辽宁|上海|中国|国际,亚洲,欧洲 02. 辽宁,中国,天津,山东 结果:辽宁 上海 中国 国际 亚洲 欧洲 天津 山东 数据:数据库名字:qwer 表名:qaz 数据条数:10

互连网到底对企业有什么作用呢?

如果你是一个企业的老板,如果你对于自己的企业是否上网犹豫不决,那么,互连网对企业的作用这篇文章会对你理清认识有所帮助.互连网到底对企业有什么作用呢? 互联网对企业的作用1:建立存在 全世界大概有2亿4千万人已经连接到万维网(WWW)上.无论你做何种生意,你都无法忽视这2亿4千万人的存在.为了成为这个社区的一部分,并且表明你有兴趣为他们服务,你就需要为他们而登陆到万维网上.要知道你的竞争者也会这么做. 互联网对企业的作用2:生成关系网络 为了做生意而发放的很多东西只不过是为了能够与其他人进行联系.

谈谈互动型网站中垃圾贴的应对方案,互联网营销

在互动型网站中常常会受到垃圾贴的困扰.我分享一点个人在垃圾贴处理方面的一点心得: 要处理垃圾贴必然需要分析垃圾贴的特征 1. 在内容上垃圾贴通常会带有一个固定域名的外部链接,或者带有QQ号码,手机号码,或者重复内容: 2. 在发帖频率上有可能是某个用户或者某个IP在短时间内发别多个帖子: 3. 在手段上高级一点的垃圾贴可能用发贴机,可能会使用不同ip,并附带破解验证码的程序. 有了特征,我们看下如何对付垃圾贴 1. 反垃圾贴的最常用的手段就是验证码了 目前大多数网站的反垃圾机制都使用了验证码,验

iOS文本布局探讨之二——关于TextKit框架中的字体描述

一.引言         UIFont是iOS开发中处理文本字体的类,关于UIFont的相关内容,以前的一篇博客有详细介绍,本片博客主要介绍关于动态字体的应用与字体描述类NSFontDescriptor的应用. UIFont应用介绍:http://my.oschina.net/u/2340880/blog/397115. 二.iOS系统中的动态字体         所谓动态字体,是指在应用使用中,用户可以动态调整字体的风格字号等.在iOS7及之后的iOS系统版本,TextKit框架中提供了一个新

新浪博客如何进行关键词SEO优化排名到首页

近期说说SEO论坛的SEOer多次问到博客如何做SEO优化,如何把博客的关键词排名做到首页去.其实,新浪博客做SEO优化有好处,也有坏处.我们今天来专题看看新浪博客是怎么优化的. 在我们做博客SEO优化之前,必须明白博客做SEO的风险: 1.诚信度有限,涉嫌广告的内容的博客容易被封,恶意举报可能会被自己的博客被封. 2.博客域名一般比较长,难以记忆.博客内容页网址过长,也无法自定义. 3.博客功能非常单一有限,无法满足很多自定义的要求. 4.博客做SEO优化,毕竟只是内页优化,比专业的单域名网站

新浪博客并不适合做关键词排名的3大理由

新浪博客其实并非理想中的百度推广博客. 一,首先从新浪博客的推广域名出发. http://blog.sina.com.cn/zhn2500zhn,那么可以根据以下的几点得出此seo学习交流博客的域名分析结果: XXX.com 是顶级域名(一级) XXX.XXX.COM都是二级域名 通常都会吧www.XXX.com 看成一级目录的 www.XXX.com/XX 一级目录 www.XXX.com/XX/YY 二级目录 那么以此为例:得出的结论就应该是sina.com.cn是顶级域名(一级) blog

新浪博客关键词SEO优化排名到首页的方法

近期说说SEO论坛的SEOer多次问到博客如何做SEO优化,如何把博客的关键词排名做到首页去.其实,新浪博客做SEO优化有好处,也有坏处.小脑袋百度360搜狗淘宝竞价软件小编今天来专题看看新浪博客是怎么优化的. 在我们做博客SEO优化之前,必须明白博客做SEO的风险: 1.诚信度有限,涉嫌广告的内容的博客容易被封,恶意举报可能会被自己的博客被封. 2.博客域名一般比较长,难以记忆.博客内容页网址过长,也无法自定义. 3.博客功能非常单一有限,无法满足很多自定义的要求. 4.博客做SEO优化,毕竟

中概股细分新族群:上市潮或延续至明年上半年

摘要: 对于创业者,这不是最好的时代,也不是最坏的时代,这是美丽小时代. 10月31日,分类信息网站58同城在纽交所挂牌上市.上市首日,58同城报收于24.31美元,较发行价上涨41.88%.58同城 对于创业者,这不是最好的时代,也不是最坏的时代,这是美丽小时代. 10月31日,分类信息网站58同城在纽交所挂牌上市.上市首日,58同城报收于24.31美元,较发行价上涨41.88%.58同城创始人.CEO姚劲波持股比例为27.9%,以24.31美元计算,姚劲波所持股票的价值为4.44亿美元. 1