中国互联网大会:数据挖掘解决微博商业化难题

       在8月14日下午举办的互联网大会2013中国大数据发展论坛上,腾讯微博相关负责人高自光分享了大数据技术的运用经验。他表示,大数据本身可以实现三个方面的效果:

第一对内容本身的理解,这个内容不限于一篇微博、一个视频、一篇文章,可能还有广告;

第二对用户的理解,用户的行为、轨迹等信息;

第三对关系的理解,这是最关键的,包括用户和用户之间的关系,内容和内容之间的关系,用户和内容之间的关系。

他还列举了大数据技术在腾讯微博的几个应用场景,例如推荐系统,用户登录腾讯微博之后,需要给他推荐感兴趣的人,提供他的朋友信息,一种是基于兴趣,一种是基于关系的。腾讯微博通过大数据技术让这种推荐更加精准。

高自光还表示,大数据不仅是一种能力,还是一种工具。“现在的数据特别多,如果能把我们的数据使用好,包括数据、数据挖掘能力、算法、平台……有这些东西,就能够很好地解决商业化的一些问题。”

以下是腾讯微博高自光的分享实录:

大家下午好,我用30分钟分享一下我们在微博里面大数据的应用。首先我自我介绍,我是来自微博的,在腾讯做了十几年,一直做技术,这几年做产品技术相结合的产品。我更多的想跟大家讲,大数据概念在具体互联网产品里面是什么样的。大数据已经谈了很多年,最近这几年又一次非常集中的提这个概念。互联网大会第一次设立这个话题。就目前为主大数据的应用比较多的是商业化的领域,怎么利用大数据做点击率提升等等方面。在互联网产品当中怎么做大数据?现在摸索的还不是很多。

我先简单的讲一讲我们对大数据的理解。为什么又再一次提出大数据呢?其实数据有很多变革,第一它的规模,噪声越来越多,速度越来越快,价值越来越大。第二现在的硬件技术和软件技术没有跟上数据规模的变化,但是现在的技术相对几年前是有足够应用空间的。现在我们想到,一个产品的运算,像我们腾讯微博,运行的技术、成本、平台。更重要的是思维变革,我们之前做互联网应用的时候,我们更多的是做抽样,但是现在很少做抽样。我们以前为什么做抽样?因为跑了太长时间了,现在不做抽样了,是思维的变化。

因为什么所以什么?现在我们不强调这个问题,我们只知道这是相关的,发生A事件之后就发生B事件,但是这两者是什么关系,我们不清楚。把相关事件打在一起,发生A事件之后,B事件点击率会高,但是因果关系不怎么追求了,但是肯定是有关系的。我个人感受非常深的,在今天开放的数据,隐私问题,很多情况是能避免的,越来越多开放的社区出现了。你使用一个产品,你使用微博,就意味着有这个问题,因为这个产品开放的时候,就是开放的,你关注什么人,不存在隐私的问题。我们在这个平台上做运算的时候,就会涉及隐私问题。

大数据能做什么?第一对内容本身的理解,这个内容不限于一篇微博,一个视频,一篇文章,可能还有广告。第二个就是对用户的理解,用户的行为,用户的轨迹,基本的信息。第三对关系的理解。其实这是最关键的,用户和用户之间的关系,内容和内容之间的关系,用户和内容之间的关系。出现A页面的时候,你推荐B页面,点击率很高。出现A用户的时候,推送B用户点击率很高。最后一个是趋势,趋势就是关系的变革,我们对点击率用户,做监控,情感分析,还有像电影票什么的,它是一种趋势,我专门搜出来。大数据在应用里面有这么几个类型。

在我们微博平台上用户规模依然是强大的,现在有5.6亿多用户,每天产生多少总的发表量,几千亿,你分析社交关系,是数百亿的,5.6亿的人际关系连接。每一篇新闻,每一篇微博发出来以后,有多少传播路径,我们用关系链传播,又是什么样的成果?我们每天有数百亿计的产品。现在的数据是更开放的,开放的数据一定是显示数据的。

刚才谈到微博的产品里面核心的东西无非就是两种,一个就是用户,一个就是内容,用户发的微博和图片,就这两种东西。现在的用户,大家在上网可选择的东西很多,花多少时间在微信,多少时间在微博。我们现在考虑微博下一代朝哪里走?核心的就是提高效果。你能在最少的时间内让用户看到所有的信息,看到他感兴趣的信息,这就是我们强调的问题。在这种情况下,我们就衍生了大数据的使命。我把我们微博里面运用比较多的应用场景列出来的。

第一个就是推荐系统。一个人上来以后,你给他推荐感兴趣的人,他的朋友。一种是基于兴趣,一种是基于关系的。你只有让他形成更强的关系链,就是他的好朋友,形成更好的兴趣,感情,交集圈。推荐系统和广告推荐是很相似的,算法做法是一样的。

第二个是微频道,核心目前就是给内容分类。微博是很短的,虽然是140个字,平均就是二三十个字,这么短的文本你怎么进行分类,美食,购物,到底是什么?还有更短的,我们把它分出来。把内容进行分类,把好的东西放到用户面前。

第三个叫微热点,真正实现信息关联。微博里面每时每刻都有热点事情发生,用机器发现哪些热点事件能读出来。它要做的事很多,第一发现热点事情,第二把热点事情聚在一起形成热点事件的脉络,第三把热点事件投放到用户面前,是纯自动的形式。每天数亿的数据怎么把它挑选出来。

第四叫微圈,其实就是智能分储。在微博上可以看到谁的微博,要取决于你上线的时间,正好在那个时间发表微博,因为微博操作很容易,你点一下按纽就可以关注他了,但是随着时间的积累,很活跃的用户的关系链已经上千人了,信息量非常多,你上线的时间正好是他发微博,你就看见了,你感兴趣的,你前女友有没有发微博,你关注的人有没有发表微博,你怎么拉取信息的?我们要做的把用户所有历史上已经关注的一千人自动分组,为什么分组?因为用户不会一个一个的关注,95%的人不会分组,他不愿意做,没有人做这个事,那我们做,这是非常难的事。大数据基本上都是智能的。大数据准确率是75%,80%。你能做到我们分组能做到百分之多少的准确率?如果做到60%,上线会被骂死。准确率达到什么样的程度,才能吸引更多的人。因为我们把准确率控制到一定的水平才能上线的。达到百分之多少之后大家才接受,我们才会上市的。

第五个是微博管家。怎么样把好的东西挑出来,垃圾自动过滤。我们邮箱就有垃圾箱,微博也有人做吗?不这么做有很多原因,一是技术是不是准确,二是商业化的问题。我相信不愿意做的原因就是商业化的问题。商业化的价值怎么做,这是需要我们做的,把垃圾信息过滤掉。

这是我们的事例。用户推荐,一个是基于感性的,我们用到了用户的兴趣模型,用到了用户在微博历史上用了那么长时间的微博,我会发现你经常收听哪些人,经常干什么,你对什么领域感兴趣,这个就是兴趣模型最直接的使用。还有一个就是刚才提到的长关系(音译),长关系是社交网络里面非常重要的,长关系要用二维,大家都知道现在有六度空间了,任何两个人的空间都可以利用六个人的空间找到,六度空间基本上是正确的,任何两个人都连一下,不超过4。我们推荐熟关系的时候,就是要把左右可能潜在的朋友,他不知道,他来微博了,他不知道,怎么摆放在他面前,这是5.6亿×5.6亿的关系,这个运算量很大。

广义的推荐系统,不仅仅推荐人,可能是推荐信息,我们在腾讯网慢慢引入这种技术的使用。当你看到这个新闻的时候,我可能在相关性里面,有相关的微博,相关的事宜,通过技术的自然连接,实现内容的串联。他的用户和更多的电商类的,都属于推荐类的应用。

微频道刚才提到了,对优势内容的挑选。单纯从技术角度来考虑这个问题,文本分类是很难的事,因为文本很短,还要分类,不像一些文章,几百个字进行分类,你有充足的理由做这个事,这里面需要很多办法,你不能把精力都放在文本本身,还有用户呢。这个用户老发财经类的内容,他发文章的时候,财经概率很多。利用这种思维,用更多的特征来学习,不要局限在内容本身里面准确会大幅提升。分完类之后还要把差的质量去掉,把好的质量选出来。比如说展示量,各种各样的东西,都是帮助你学习的。

微热点,这里面卷都是机器自动实现的,一件事情的发生,没有人参与,都是机器做的,而且我的机器可以发现这个事情的脉络,首先会把时间点,最热的信息拿出来,然后基于关键词把热点事情挖出来。用户上微博,大部分都是提留在主页上,如果主页提每个事件的话,再吸引你点击。我们用大量数据做这个事很有意义。我们做这个事根本不需要人做,只需要个别人看看,不要有太明显的错误,删删改,每天运营式的,自然的就出来了,这是很智能的。

这是我们的微圈。在PC上网,会把历史信息自动分好组。我们研究了特别多的运算。我们做社交网络分析的时候,很多都是很复杂的,我们做了特别多的改进,怎么把效率提高,把最小的图给解出来。分好组之后,里面有几个同学,我比较感兴趣的,前女友比较多的话,几个前女友分在一起的话,可以去里面看一下。这里面就是对信息和效率很好的提升。

微管家技术难点就是对内容质量的判断。最后就是我们的几点经验。大数据是一种能力,还是一种工具。其实现在的数据特别多,如果能把我们的数据使用好,你有很多的数据,你有很强的数据挖掘能力,算法,平台,如果你有这些东西,能够解决好某一个商业化的价值,很简单的比如说电商,我们腾讯和网点通合作,我们腾讯和它做基于兴趣的广告,利用好大数据,提升一个产品的体验,解决好一个产品的发展方向,如果你找到这些才是我们的出路。如果我们空有数据放在那里,我们也有很强的技术,各种云计算,什么都有,但是没有很好的商业模式,没有很好的产品应用,这样的话就很难施展了。我们长期的摸索,每天有大量的数据进来,数据挖掘团队,有很强的技术能力。找不到商业模式的话,价值是有限的。把我们的数据和技术,以及产品应用和商业化应用结合是我们很重要的目标。

原文发布时间为:2013-08-18


时间: 2024-11-05 18:27:12

中国互联网大会:数据挖掘解决微博商业化难题的相关文章

任务中国“雇主保障”解决两大难题

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 2008年8月18日,艾瑞网站有篇题目叫<对现有威客模式的两点质疑>的文章针对当时威客任务模式提出了两点质疑,这也是威客网站有待解决的两个难题. 问题1:威客任务永不退款,如果我征集的结果确实不满意,怎么办? 问题2:如果我征集的LOGO在工商局不能注册怎么办? 上述问题从某种程度上阻碍了威客任务模式的发展,8月底任务中国推出的&

梦想旅行出席中国互联网大会 做旅游界的技术派

ZD至顶网CIO与应用频道 06月28日 北京消息:旅游与每个人的生活息息相关,旅游产业也亟需一种脱胎换骨的方式提升效益.在近日第15届中国互联网大会"互联网+民航"专场上,梦想旅行CEO郭宁表示,大数据将改变传统旅游行业的DNA,加速推动智慧旅游时代的到来. 大数据打破旅游信息不对称 让"剁手"成为大势的淘宝,打破了消费者与商户间的信息不对称:将共享经济发挥得淋漓尽致的滴滴,打破了出行用户与司机间的信息不对称:盘活民间资金的互联网金融,打破了大众与金融机构间信息不

新浪全面启动微博商业化 近百家企业已投放广告

中介交易 SEO诊断 淘宝客 云主机 技术大厅 5月16日午间消息,新浪公布的最新数据显示,新浪微博注册用户已增长至3.24亿.随着用户规模的稳定增长,今年4月,新浪微博宣布推出广告平台,并升级企业微博产品至2.0版本,从而全面启动商业化.新浪首席执行官兼总裁曹国伟透露,目前已有近百家企业尝试了微博广告,并取得了不错的效果. 微博广告实现用户投放转变 据了解,全新的微博广告产品分为两类:一类是顶部和底部的广告,另外一类是右侧推荐的广告产品,包括推荐账号和推荐活动.视频,推荐的话题以及推荐的商品.

2014年中国互联网大会于8月26日在北京举行

摘要: 联想中国区数字运营总监赵海生 2014年中国互联网大会于8月26日在北京举行.大会现场,联想中国区数字运营总监赵海生发表了主旨演讲.赵海生在演讲中分享了联想做电商的历史以及 联想中国区数字运营总监赵海生 2014年中国互联网大会于8月26日在北京举行.大会现场,联想中国区数字运营总监赵海生发表了主旨演讲.赵海生在演讲中分享了联想做电商的历史以及经验. 赵海生称,联想电子商务是从1999年开始的,那个时候更多是B2D的,特别是联想和渠道之间的B2D连接,这种连接是很高效的. 赵海生表示,到

2012中国互联网大会首推移动客户端

2012年,移动互联网将深入到各个行业,带来模式和服务的创新.变革,移动互联网的火热已经成为业界共识.2012中国互联网大会不断创新服务模式,契合"开放 诚信 融合--迎接移动互联新时代"的主题,首次推出中国互联网大会移动客户端,并于3月27日新闻发布会当天正式发布Android版本. 中国互联网大会移动客户端为组织者.参会者.嘉宾和合作伙伴等建立一个及时互动的平台,实现会议的O2O服务,提升会议效率和会议品牌.目前用户可以通过Android电子市场输入"互联网大会"

2013中国互联网大会将于8月13日-15日举行

围绕"共建良好生态环境,服务美好网络生活"的主题,2013中国互联网大会将于8月13日-15日在北京国际会议中心举行.大会主旨之下,什么是有力于产业生态建设的行为,什么是服务网民生活的创想,成为主办方引导大家探讨的热点话题.大会配套活动 "寻找中国互联网生态价值与生活创想之星"活动在此背景下火热展开,活动重点挖掘在产业生态建设上做出突出贡献的企业和影响网民生活方式的创新产品/服务,自5月开展以来收到百余个报名案例,目前网民投票阶段正在火热进行(http://cic.

第十届中国互联网大会将在北京召开

摘要: 2011年8月,以网络中国责任与活力为主题的第十届中国互联网大会(www.2011cic.cn)将在北京召开.作为近几届大会的品牌活动,寻找系列活动日前启动.寻找中国互联网责任与活力(http://x 2011年8月,以"网络中国--责任与活力"为主题的第十届中国互联网大会(www.2011cic.cn)将在北京召开.作为近几届大会的品牌活动,"寻找"系列活动日前启动."寻找中国互联网责任与活力"(http://xunzhao.wangm

2015中国互联网大会 共同探讨创新创业潮

互联网一直是行业发展.产业融合的关键领域,今年国家更是将其提升到了战略层面,希望通过借助互联网的力量加速各个产业转型升级.21日,第十四届中国互联网大会在京召开.今年的互联网大会更加的商业化,却依旧吸引了一大票人前来参会,热度不减. "中国移动互联网年会"是历届互联网大会的热度最高的分论坛之一,今年的主题是"寻找下一个百亿级机会,营造创新创业良好氛围".近几年,随着移动互联网的发展,众多IT人纷纷下海转战创业,但市场是有限的,当互联网创业潮正如火如荼的时候,又不伐一

2014中国互联网大会8月26日召开 马云雷军将参会

2014年中国互联网大会将于8月26日-28日在北京国际会议中心举行.中国互联网行业超过200位高端嘉宾将围绕Create Infinite Chances创造无限机会--打造新时代经济引擎这一主题进行思想碰撞.具体话题涉及移动互联网.互联网金融.电子商务.大数据与云计算.可穿戴设备.智能交通.智能电视等多个领域.截止到目前,已有包括马云.张朝阳.雷军.周鸿祎.华谊王中军. 阿里小微金融彭蕾.百度李明远.猎豹移动傅盛.Evernote CEO Phil Libin .微软大中华区CEO 贺乐赋(