聚沙成塔集腋成裘——四谈大数据时代

  在地球任意地方捡起一块石头,都可以验出铁元素。但是,说世界遍地都是铁矿一定是胡扯。只有石头中铁含量超过一定比例,而石头数量又达到相当规模,这堆石头才能称为铁矿,人们才会对它产生投资开采的兴趣。如果铁矿石埋藏不是太深,开采和运输的成本不是太高,市场有长期稳定的购买需求,那么铁矿开采的兴趣才会变成行动,成为一个有利可图的商业活动。

  同样的道理也适用于对于大数据由来的分析。有了互联网,也就有了网络数据。随着网民的增加和网络服务的日益丰富,网络数据也就丰富起来。做个网站,上面罗列些服务,无论它们是新闻资讯,还是产品商品,或者是娱乐游戏,只要有用户问津,就会给服务提供商留下些使用记录。无论这些数据如何简陋孤立,但只要有用户ID和点击量,就可以支撑起网络广告商业模式。只要有用户注册信息和支付账户,就可以支撑起电子商务和会员制服务的商业模式。随着新增网络用户增速的降低和同质性网络服务数量的增加,逼迫网络服务提供商开始从粗放式经营走向精细化经营,试图通过提高市场推广的投入产出比来提高收入和利润。在走向精细化经营的种种努力中,一个被普遍采用的方式就是数据挖掘。

  过去由于大部分互联网公司是以产品与服务为中心,所以获得的基本上是单一产品与用户之间的行为记录,缺少产品之间,用户之间,以及更复杂的产品逻辑和用户行为逻辑的数据,也就是业内俗称的数据的非结构化,非关系化或碎片化。所以,尽管一些公司里有些专家在做数据整合与分析,也有一些专门从事数据发掘的公司,工具和专业服务,但总的看起来,数据收集,整理,挖掘所需的成本与产生的效益相比,性价比不高,吸引力不大。就像前面说到的贫铁矿一样,含金量不高的数据无论规模多大,挖掘多深,也是形同鸡肋,食之无味,弃之可惜。

  这一局面到了WEB2.0时代发生了根本性的转变。以FACEBOOK为例,可以看出大数据是如何在日常服务中自我形成:首先,用户需要注册才可以使用,这一注册ID可以通行于数以千万计的网站之中(FACEBOOK CONNECT),也通行于数以百万计的第三方应用之中(Open Platform)。这就构成了用户身份的确定性和唯一性。其次,用户与用户之间直接与间接的双向互动关系构成了动态的,稳定的,不断变动与发展的社会网络,信息传播和产品与服务的推广的脉络清晰,结构分明。第三,开放平台的众多通用标准和接口诱导广大的第三方应用提供商使用统一的数据格式,结构和逻辑,使得数据的汇合与整合相对简单容易。第四,网站架构的简洁性(例如WALL和NEWFEED)使得众多平台功能所产生的数据自动耦合,使复杂的社交数据能够有序形成,便于整理分析。第五,TIMELINE,OPENGRAPH,CREDIT等一系列机制将千姿百态,错综复杂的用户网络行为整合成时空逻辑清楚,行为逻辑可查的行为数据链。凡此种种,FACEBOOK自觉或不知觉地成为了网络业内第一个能够生成大数据的公司。当然,这不是说它是生成大数据的唯一形式或者它已经对分析利用大数据很成功了。

  正在成为大数据拥有和使用者的公司不止FACEBOOK一家。苹果在操作系统和网络终端上正在努力形成大数据的生成之地,谷歌在操作系统,搜索系统和GOOGLE+平台上正在努力整合众多产品,形成可资利用的大数据,亚马逊正在通过网络平台,云计算平台和阅读终端形成一个电子商务垂直领域的大数据汇集地。国内一些互联网公司也在有意无意之中,在一些较低层面上努力着,例如搞些云计算,输入法,浏览器,杀毒平台,以及各种木马,COOKIE之类的东西,试图获取和整合更多的用户行为数据。总之,增强数据结构性,加大数据关系性,把碎片化的数据用种种手段整合起来并加以利用,这是产业发展的一个显著走向。

  就整个产业而言,网络业在处于大数据时代的萌芽初期。在商业模式和经营水平对大数据的依赖程度上,除了搜索,整体上低于电信业,金融业,证券业,保险业,航空业,旅店业等传统产业的水平。但是,网络业的后发优势也十分明显。随着其他传统产业的互联网化,随着广大用户的日常工作与生活越来越依赖于互联网,一个由网络业牵头,整合各行各业,全面系统地记录与把握亿万用户的行为模式的大数据系统三五年内会有个雏形,一个巨大的富铁矿正在形成。至于谁会抢占先发地位,推出事实标准,发展崭新的服务模式和商业模式,就要看业内人士的悟性,努力与造化了。

时间: 2024-11-06 09:37:37

聚沙成塔集腋成裘——四谈大数据时代的相关文章

聚沙成塔 集腋成裘----四谈大数据时代

在地球任意地方捡起一块石头,都可以验出铁元素.但是,说世界遍地都是铁矿一定是胡扯.只有石头中铁含量超过一定比例,而石头数量又达到相当规模,这堆石头才能称为铁矿,人们才会对它产生投资开采的兴趣.如果铁矿石埋藏不是太深,开采和运输的成本不是太高,市场有长期稳定的购买需求,那么铁矿开采的兴趣才会变成行动,成为一个有利可图的商业活动. 同样的道理也适用于对于大数据由来的分析.有了互联网,也就有了网络数据.随着网民的增加和网络服务的日益丰富,网络数据也就丰富起来.做个网站,上面罗列些服务,无论它们是新闻资

谢文:法律标准与事实标准----八谈大数据时代

中介交易 SEO诊断淘宝客 站长团购 云主机 技术大厅 苹果与三星的专利大战有了初步结果,苹果大胜,三星惨败.就像世界杯预选赛一样,这场大战是双场制,在韩国打一场,在美国打一场,以避免主场优势.在韩国打成3:3,法院判双方都有侵权行为,苹果净赔偿不过几万美元.在美国打成7:0,三星要赔苹果10亿多美元.三星发誓要上诉,但败局已定,纠缠下去可能输的更多.韩国法院象征性地在本国禁售了苹果几款过时型号的产品,苹果很可能要求在美国禁售三星的当红产品.考虑到不对称的市场规模,三星最好寻求和解.以韩国民族主

放眼业界看得见的未来 十谈大数据时代

本文讲的是放眼业界看得见的未来 十谈大数据时代,半年前开始讨论大数据时代的到来时,大数据还只是个专业小圈子里探讨的话题.到今天大数据这个概念已经在业界内外和大众媒体上沸沸扬扬地广为传播,并不断涌现出这个方向上的努力与创新了.正所谓"历史潮流,浩浩荡荡,顺之者昌,逆之者亡",这个过去只用在政治话题上的说法借过来描述大数据时代的到来与迅猛发展的形势真是再恰当不过. 站在不同角度看大数据,它既可能是大机会,大发展,大创新,也可能是大危机,大破坏,大淘汰. 目前,最活跃的领域是网络终端创新和网

需要一点想象力——九谈大数据时代

记得2005年在业内鼓吹WEB2.0革命的时候,得到最多的有两类反应.一类可以称之为虚无派,他们说讨论这事虚无缥缈,没有马上就能挣钱的模式.一类可以称之为停滞派,他们说讨论这事有什么新鲜,我们的某某东西早就是WEB2.0了.随后几年的产业发展证明了这两类说法的无知与荒谬. 今天在业内鼓吹大数据时代即将到来的时候,得到最多的仍然是同样两类反应.虚无派说大数据云山雾罩,看不出有什么钱途.停滞派说大数据有什么新奇,老子的数据很大,挖掘技术很高.我想,今后几年的产业发展又将证明这两类说法的无知与荒谬.

看得见的未来——十谈大数据时代

半年前开始讨论大数据时代的到来时,大数据还只是个专业小圈子里探讨的话题.到今天写到系列文章的最后一篇时,大数据这个概念已经在业界内外和大众媒体上沸沸扬扬地广为传播,并不断涌现出这个方向上的努力与创新了.正所谓"历史潮流,浩浩荡荡,顺之者昌,逆之者亡",这个过去只用在政治话题上的说法借过来描述大数据时代的到来与迅猛发展的形势真是再恰当不过. 站在不同角度看大数据,它既可能是大机会,大发展,大创新,也可能是大危机,大破坏,大淘汰. 目前,最活跃的领域是网络终端创新和网络基础设施创新,也就是

院士谈大数据时代的国家治理(上)

2月26日上午,在人民大学召开了一场以"开放政府数据"为题的研讨会,会议由中国人民大学社会转型与社会管理协同创新中心主办,由中国人民大学原常务副校长.社会转型与社会管理协同创新中心主任冯慧玲主持.中国人民大学校长陈雨露会见与会嘉宾.中国工程院院士.中国计算学会大数据专家委员会主任李国杰做了题为"数据共享--大数据时代国家治理体系现代化的前提"的精彩演讲.以下文字摘自李院士演讲.   本来是重点讲一些怎样评价一个城市或一个国家数据开放做的好不好的标准,后来想一下这个问

谢文:看得见的未来——十谈大数据时代

一.迎接大数据时代 如果你的网站拥有数以千万计的活跃用户,如果网站上拥有数以百计的产品服务,如果这些服务以多媒体的形式在多个网络终端上运行,如果正在或者打算尝试走向云计算和WEB2.0架构,那就恭喜你了,因为你已经不知不觉地成为大数据时代的先行者或受害者. 按照维基百科上的定义,所谓"大数据"(big data)在当今的互联网业指的是这样一种现象:一个网络公司日常运营所生成和积累用户网络行为数据"增长如此之快,以至于难以使用现有的数据库管理工具来驾驭,困难存在于数据的获取,存

谢文谈大数据时代:产业链将发生重组性巨变

互联网进入商业化市场化运营的二十多年来,产业生态环境和产业链都发生了天翻地覆的变化.在即将到来的大数据时代,网络业的产业链也必将发生重组性的巨变. 近年来,网络业经历着一系列深刻的变化,姑且称之为"分离化".在网络业早期,典型的模式是一个网络公司开发运营一个网站,其中包含若干产品和服务,公司的服务器通过网络线连接一台网络终端对一位用户服务,由此产生的网络数据归公司独有,形成单一固定封闭的循环.但时至今日,这种模式已经难以应对产业的发展.一个公司的网络产品和服务,未必只通过自己网站运营,

孕育中的数据服务业——六谈大数据时代

自从苹果公司先后推出iPhone和iPad红遍全球,全世界进入了若干产业被颠覆,若干产业被重组,若干公司被干掉的大乱局面.以近来谷歌和微软相继推出平板电脑为标志,再加上它们在手机操作系统以及手机制造上的努力,可以说传统的产业划分和商业模式分析需要重新来过了. 从产业分析的角度看,今天再把网络业,IT业,电信业和软件业分开看已经什么都说不清楚了.传统的TMT概念(电信,媒体和信息技术业的统称)更是应该被扔进历史垃圾堆.一个重新定义过的大网络业概念可能会更加贴切地反映高度变动中的世界和日益模糊的产业