BAT三巨头开挖大数据

  阿里巴巴CTO即阿里云负责人王坚博士说过一句话:云计算和大数据,你们都理解错了。

  实际上,对于大数据究竟是什么业界并无共识。大数据并不是什么新鲜事物。信息革命带来的除了信息的更高效地生产、流通和消费外,还带来数据的爆炸式增长。“引爆点”到来之后,人们发现原有的零散的对数据的利用造成了巨大的浪费。移动互联网浪潮下,数据产生速度前所未有地加快。人类达成共识开始系统性地对数据进行挖掘。这是大数据的初心。数据积累的同时,数据挖掘需要的计算理论、实时的数据收集和流通通道、数据挖掘过程需要使用的软硬件环境都在成熟。

  概念、模式、理论很重要,但在最具实干精神的互联网领域,行动才是最好的答案。

  国内互联网三巨头BAT坐拥数据金矿,已陆续踏上了大数据掘金之路。

  BAT都是大矿主,但矿山性质不同

  数据如同蕴藏能量的煤矿。煤炭按照性质有焦煤、无烟煤、肥煤、贫煤等分类,而露天煤矿、深山煤矿的挖掘成本又不一样。与此类似,大数据并不在“大”,而在于“有用”。价值含量、挖掘成本比数量更为重要。

  百度拥有两种类型的大数据:用户搜索表征的需求数据;爬虫和阿拉丁获取的公共web数据。

  阿里巴巴拥有交易数据和信用数据。这两种数据更容易变现,挖掘出商业价值。除此之外阿里巴巴还通过投资等方式掌握了部分社交数据、移动数据。如微博和高德。

  腾讯拥有用户关系数据和基于此产生的社交数据。这些数据可以分析人们的生活和行为,从里面挖掘出政治、社会、文化、商业、健康等领域的信息,甚至预测未来。

  下面,就将三家公司的情况一一扫描与分析。

  一、百度:含着数据出生且拥有挖掘技术,研究和实用结合

  搜索巨头百度围绕数据而生。它对网页数据的爬取、网页内容的组织和解析,通过语义分析对搜索需求的精准理解进而从海量数据中找准结果,以及精准的搜索引擎关键字广告,实质上就是一个数据的获取、组织、分析和挖掘的过程。

  除了网页外,百度还通过阿拉丁计划吸收第三方数据,通过业务手段与药监局等部门合作拿到封闭的数据。但是,尽管百度拥有核心技术和数据矿山,却还没有发挥出最大潜力。百度指数、百度统计等产品算是对数据挖掘的一些初级应用,与Google相比,百度在社交数据、实时数据的收集和由数据流通到数据挖掘转换上有很大潜力,还有很多事情要做。

  2月底在北京出差时,写了一篇《搜索引擎的大数据时代》发在虎嗅。创造了零回复的记录。尽管如此,仍然没有打消我对搜索引擎在大数据时代深层次变革的思考。

  搜索引擎在大数据时代面临的挑战有:更多的暗网数据;更多的WEB化但是没有结构化的数据;更多的WEB化、结构化但是封闭的数据。

  这几个挑战使得数据正在远离传统搜索引擎。不过,搜索引擎在大数据上毕竟具备技术沉淀以及优势。

  接下来,百度会向企业提供更多的数据和数据服务。前期百度与宝洁、平安等公司合作,为其提供消费者行为分析和挖掘服务,通过数据结论指导企业推出产品,是一种典型的基于大数据的C2B模式。与此类似的还有Netflix的《纸牌屋》美剧,该剧的男主角凯文·史派西和导演大卫·芬奇都是通过对网络数据挖掘之后,根据受欢迎情况选中的。

  百度还会利用大数据完成移动互联网进化。核心攻关技术便是深度学习。基于大数据的机器学习将改善多媒体搜索效果和智能搜索,如语音搜索、视觉搜索和自然语言搜索。这将催生移动互联网的革命性产品的出现。

  尽管百度已经出发,其在大数据上可做的事情还有很多。

  在数据收集方面,百度需要聚合更多高价值的交易、社交和实时数据。例如加强自己贴吧知道的社交能力、尽快让地图服务与O2O结合进而掌握交易数据,以及推进移动App、穿戴式设备等数据收集系统。

  在数据处理技术上,百度成立深度学习研究院加强自己在人工智能领域的探索,在多媒体和中文自然语言处理领域已经有一些进展;云存储、云计算的基础设施建设也在逐步完善。但深度学习仍然是一个巨大的挑战,百度等探索者还有很多待解问题,如:无监督式学习、立体图像识别。

  在数据变现方面,百度需将数据挖掘能力、数据内容聚合和提取等形成标准化的服务和产品,进而开拓大数据领域的企业和开发者市场。而不仅仅是颇为个性化、定制化地为大型企业提供解决。

  百度的优势体现在海量的数据、沉淀十多年的用户行为数据、自然语言处理能力和深度学习领域的前沿研究。在技术人才方面百度是聚集国内最多大数据相关领域顶尖人才的公司。听说百度前段时间花五千万挖了数据挖掘、自然语言处理、深度学习领域的十来位大牛,包括一些学者和教授。例如Facebook科学家徐伟。

  在挖人上,舍得花钱不够,还得用心。对于真正的大牛来说,钱只是一个影响因素。能否实现自己的梦想,公司的资源能否帮助自己的研究至关重要。徐伟在回国前就曾问过其他从硅谷回国工程师的意见,得到答案是积极的,最终促成他作出决定。

  总体来看,百度拥有大数据也具备大数据挖掘的能力,并且正在进行积极地准备和探索。在加强面向未来的研究和人才布局的同时,也注重实用性的技术产出。

  二、腾讯:数据为产品所用,自产自销

  微创新提出者金错刀有个关于腾讯的故事。

  1999年腾讯公司刚刚成立不久,天使投资人刘晓松决定向其注资的一个主要原因就是因为他发现,“当时虽然他们的公司还很小,但已经有用户运营的理念,后台对于用户的每一个动作都有记录和分析。”而另一个投资人却因为马化腾在公司很小时就花钱在数据上表示不满。此后腾讯的产品生产及运营、腾讯游戏的崛起都离不开对数据的重视。

  腾讯拥有社交大数据,在企鹅帝国完成数据的制造、流通、消费和挖掘。

  腾讯大数据目前释放价值更多是改进产品。据腾讯Q1财报,增值服务占总收入的78.7%;电子商务业务占14.1%;网络广告收入占6.3%。从广告收入比例可以看出腾讯的大数据在精准营销领域暂时还未大量释放出价值。与其产品线对应的GMAIL、Google 的Google以及社交巨头Facebook则通过广告赚得盆满钵满。

  在笔者看来,腾讯的思路主要是补齐产品,注重QZONE、微信、电商等产品的后端数据打通。例如最近腾讯微博利用“大数据技术”实现好友关系自动分组、低质量信息自动过滤、优质信息分类阅读等智能化功能。明显的用数据改进产品的思路。

  那么如果腾讯要深入大数据挖掘缺少什么呢?笔者认为其只需马化腾“摁下启动按钮”。数据已经准备好了,就差模式,也就是找到需求或者能更深层次驱动大数据利用的产品,而不是用大数据改进自己的产品。腾讯还在观望,等其他人去试错验证出一套模式或者产品后,自己可以“站在巨人肩上”。这是腾讯的典型思维。

  在人才方面,腾讯很早便开始重金挖人。尤其是2010年在Google宣布退出中国后,Google图片搜索创始人朱会灿、Google中国工程研究院副院长颜伟鹏、Google中日韩文搜索算法的主要设计者,《浪潮之巅》及《数学之美》作者吴军相继加入腾讯。搜搜花了很多钱,但被认定为一款无法承载腾讯重托的产品,最后这些大牛都走了。大都回Google了。

  腾讯在大数据领域也缺少技术带头人。其对公关也不重视。技术大牛很少出来做报告,更不会向百度、阿里那样主动包装宣传技术大牛。其技术虽然低调,但执行力很强。据腾讯的程序员朋友说封闭开发、集体加班是常有的事情。但配套的重金激励也能跟上。重金之下必有勇夫、腾讯用制度保障技术产出。另外腾讯在高校合作领先一步,在2010年便与清华大学合作成立了清华腾讯联合实验室。

  这么看腾讯的技术人才这块似乎有短板。会不会到时候马化腾按下启动按钮,发现没数据挖掘能力呢?不会,腾讯搞不定数据挖掘,到时候依然可以挖到大牛,甚至读论文来搞定这事儿。数据挖掘已较为成熟。数据挖掘实际是数据库、统计学、机器学习三个领域的融合。在学术界已经发展多年。不过自然语言识别和深度学习等方面要赶上百度,就难了。除非将百度的数据和众大牛一起倒腾过来。

  总体来看,腾讯目前的大数据策略是先将产品补全,产品后台数据打通,形成稳定生态圈。本阶段先利用大数据挖掘改进自己的产品。后期有成熟的模式合适的产品,则利用自家的社交及关系数据时,开展对大数据的进一步挖掘。

  三、阿里巴巴:坐拥金数据,尝试做面向未来的数据集市

  阿里巴巴B2B出身,在外贸蓬勃的大环境下,依靠服务中小企业发家。淘宝、支付宝等toC的产品出生前,阿里并不依赖也不擅长技术。业界普遍认为阿里没有技术基因。直到淘宝、支付宝以及天猫三个产品后,对海量用户大并发量交易、海量货架数据的管理、安全性等方面的严苛要求,阿里完成进化,在电商技术上取得不菲的成绩。在一段时期阿里仍然浪费了手里掌握的大量数据。这些数据还是“最值钱”的金数据。

  数据挖掘无非是从原始数据提取价值。阿里现有的数据产品例如数据魔方、量词统计、推荐系统、排行榜以及时光倒流相对来说是比较简单的BI(商业智能),没到大数据的阶段。

  “大数据”浪潮袭来,阿里提出“数据、金融和平台”战略。前所未有地重视起对数据的收集、挖掘和共享。马云在“退居”前动不动都对外提“数据”。有位阿里朋友甚至开玩笑说,马云英文名可以从Jack Ma改为Data Ma。阿里现CEO陆兆禧曾做过CDO,首席数据官。为了用数据来驱动阿里电商帝国,阿里还成立了横跨各大事业部的“数据委员会”。

  阿里的各项投资案也显示其整合、利用和完善数据的野心:新浪微博的社交及媒体数据、高德的地图数据和线下数据以及友盟的移动应用数据,都是其数据及平台战略的一部分。数据战略正在首席人工智能官(CBO)车品觉领头下逐步落地,王坚的云为其提供基础设施、基础技术支撑。

  就在马云退休之后,王坚对外透露其跟马云开玩笑说的一句话:阿里巴巴对数据的理解深度,不会超过苏宁对电子商务的理解。估计马云不一定认同他这话。马云对大数据已经有着自己的理解和考量。

  马云曾经说过其对大数据的思考。大致意思是:现在从信息时代进入数据时代了。区别是信息时代更多的是精英玩的游戏。我比别人聪明,我能提取出信息出来;数据时代,别人比我聪明,将数据开放给更聪明的人处理,数据即资产,分析即服务。

  计算机发展的过程是从象牙塔、到平民到草根。大数据也是这样,一开始在象牙塔阶段,少数精英公司才能玩;但到后面只要有数据就有价值。数据也有所有权,产生数据、流通数据、挖掘数据的都会获得相应的价值。而阿里擅长的便是“建立市场”,建立一个数据交易市场。届时任何个人和企业都可以将数据和挖掘服务拿上去,交易。初期阿里会将自己珍藏的电商和信用数据逐步放到上面。

  有数据的人,拿上去卖,或者让别人分析,分析即服务。没有数据的人,即可以去买,也可以去帮别人挖掘,做矿工。

  阿里并不是技术驱动,而是业务驱动的。因此在技术层面我们看到,基于前面提到的阿里大数据思路,其技术重心主要在系统层面。阿里拥有LVS(Linux Virtual Server,Linux虚拟服务器)开源软件创始人章文嵩,Linux Kernal、文件系统、大牛DBA等领域的大牛。从人才布局可以看到阿里擅长的技术领域,体现在对于并发访问、电信级别的电商业务的支撑方面的得心应手。在去年双十一期间,支撑了单日过亿的订单量。铁道部奇葩网12306在日均40万时已经不行了。

  总体来看,阿里更多是在搭建数据的流通、收集和分享的底层架构。自己并不擅长似乎也不会着重来做数据挖掘的活儿。而是将自己擅长的“交易”生意扩展到数据。让天下没有难做的“数据生意”。

  总结一下

  移动互联网浪潮下,现实世界正在加速数字化,每个人,每个物体、每件事情、每一个时间节点,都在向网上映射。空间和时间两个维度的联网,使得数字世界正在接近一步步模拟现实世界。历史、现在和未来都会映射到网上。对大数据的挖掘正是对世界的二次发现和感知。BAT三巨头已经出发。

时间: 2024-08-01 20:28:55

BAT三巨头开挖大数据的相关文章

百度、阿里、腾讯三巨头开挖大数据

概念.模式.理论很重要,但在最具实干精神的互联网领域,行动才是最好的答案.国内互联网三巨头BAT坐拥数据金矿,已陆续踏上了大数据掘金之路. BAT都是大矿主,但矿山性质不同 数据如同蕴藏能量的煤矿.煤炭按照性质有焦煤.无烟煤.肥煤.贫煤等分类,而露天煤矿.深山煤矿的挖掘成本又不一样.与此类似,大数据并不在"大",而在于"有用".价值含量.挖掘成本比数量更为重要. 百度拥有两种类型的大数据:用户搜索表征的需求数据:爬虫和阿拉丁获取的公共web数据. 阿里巴巴拥有交易数

ZARA、亚马逊和沃尔玛:三巨头的大数据

<连线>杂志报道三家零售公司.这三家公司很有代表性:ZARA,一家发家于线下的快时尚品牌商:亚马逊,电商巨头:沃尔玛,全球最大的传统零售企业. 这组报道从不同角度来分析它们是怎么利用大数据的:ZARA运用大数据让自己既有的快时尚模式如虎添翼:亚马逊实现基于大数据的精准营销:沃尔玛分析社交网站海量数据上显露的消费者偏好与需求. 它们在三个方向上的实践样本也许对很多中国零售企业有所启发.以下内容主要由虎嗅根据该报道编辑而成: ZARA Zara平均每件服饰价格只有LV的四分之一,但是,打开两家公司

ZARA亚马逊沃尔玛,三巨头的大数据瓜葛

大数据时代正在以我们可感知的方式到来,无数公司和创业者都纷纷跳进了这个狂欢队伍. <连线>杂志(台湾版)最新制作了一期大数据特刊,其中涉及到三家零售公司.这三家公司很有代表性:ZARA,一家发家于线下的快时尚品牌商:亚马逊,电商巨头:沃尔玛,全球最大的传统零售企业. 这组报道从不同角度来分析它们是怎么利用大数据的:ZARA运用大数据让自己既有的快时尚模式如虎添翼:亚马逊实现基于大数据的精准营销:沃尔玛分析社交网站海量数据上显露的消费者偏好与需求. 它们在三个方向上的实践样本也许对很多中国零售企

BAT三巨头:数据价值潜能需要被重视

BAT三巨头对于数据的处理都拥有各自的特点,首先看看百度:百度拥有用户搜索表征的需求数据.爬虫和阿拉丁获取的公共WEB数据:阿里巴巴拥有交易数据和信用数据:腾讯则拥有用户关系数据和基于此产生的社交数据.而且,BAT对于数据的应用和变现形式也各不相同:百度的数据源于数据自产+第三方合作,采用研究和实用结合的使用方式:腾讯的数据自产自销,主要为其产品所用:阿里巴巴看中的是数据的流通,做数据的集散地. 从数据产生的根源来看,BAT三大巨头拥有的数据大部分主要都是基于B2C 的服务而产生的.然而,随着网

【大汇总】科技巨头遭遇硬件之殇 BAT三巨头移动战略对比

中云网每天精选各科技媒体头条! 1.凤凰科技 科技巨头遭遇硬件之殇 利润纷纷跌破预期 http://tech.ifeng.com/it/detail_2013_07/22/27749077_0.shtml 随着PC的下滑和智能手机新竞争对手的出现,国际科技巨头们正在为硬件业务而"挠头".上周,英特尔.诺基亚.微软.谷歌这些大名鼎鼎的国际科技公司纷纷发布了最新的季度财报,硬件带来的巨亏外加自身主营业务的下滑,导致这几家大佬级别的公司在利润上纷纷跌破分析师们此前预期,使整个科技股承压. 2

移动互联时代,BAT三巨头谁也不肯轻易认输

编者按/移动互联时代,BAT三巨头谁也不肯轻易认输.虽然当下来看,微信成功最早,但 百度 一掷千金买下91手机助手,而马云也在"退休"后主动为来往"站台"发炮. 同样,网易也磨刀霍霍,丁磊就因为易信进度不如意而在内部发飙:至于已成气候的360系.尚未成气候的盛大Youni,也正各出奇谋,角力不已. 移动平台的商业战争已近白热化.请关注本期特别报道―― 举集团之力 三利剑开路 马云:微信不代表未来 马云退而不休,"无线优先"战略刚刚一个月,就又迫不

BAT三巨头的互联网金融落子图

中介交易 SEO诊断 淘宝客 云主机 技术大厅 百度宣布本月28日将推出类似余额宝的理财产品"百发",其目标年化收益率可能达到8%.此举距离阿里彭蕾刚刚抨击完微信不过一周.百度.腾讯等互联网巨头,招行和平安等老牌金融机构.甚至游戏厂商巨人均尝试抢滩互联网金融这个时髦业务. "互联网金融"与"金融互联网"最大的不同之处便在于"互联网"的属性.传统金融因财聚人,互联网金融因人聚财;传统金融以机构为中心,互联网金融用户为中心;传统金

BAT三巨头智能硬件布局

腾讯科技 韩依民 7月19日报道 7月,国内互联网巨头在智能硬件领域动作频繁. 月初,微信向第三方硬件厂商开放服务号,接入智能硬件数据:月中,百度证实正在开发无人驾驶自行车:16日,阿里启动家庭数字娱乐合作计划,表示将在硬件方面与合作伙伴推出更多产品,并接入阿里家庭数字娱乐生态. 与国外互联网巨头相比,BAT(指百度.阿里巴巴和腾讯三家互联网企业)在智能硬件领域似乎稍显沉寂.虽然上半年耐克裁撤Fuelband为智能硬件浇了一盆冷水,但随着苹果和谷歌相继发布Homekit和Google fit,从

乌云网掌门人:阻力主要来自于BAT三巨头

乌云网的创始人方小顿.京华时报记者蒲东峰摄 正如白魔法和黑魔法一样,在黑客领域也要分"白帽子"和"黑帽子".作为"信息警察",方小顿在过去8年间都在扮演黑客领域中的"甘道夫",专门和"伏地魔"对打.近期曝出的携程网"漏洞门"事件,让方小顿以及其创建的网络漏洞报告平台--乌云网再次走到台前.今年刚满27岁的方小顿称他如今已经集结了5000名分散在各个领域的白帽黑客,排查国内各大网站的安全漏