大数据三重门

人类实现了信息的存储,就像Time Machine一样,回到任意一个点,通过已有的数据重新构建过去的影像,也能够预测未来,模拟一个虚拟而准确的未来环境

大数据第一重

这是大数据的第一阶段,也是大数据当前所处的阶段。这个阶段的表象是:

大数据部门在大部分公司遍地开花,

大家一拥而上

这一阶段的必然结果是:

大家发现耗费了大量人力物力,

终究是收效有限

虽然大部分企业的消耗了大量的资金,却没有带来应有的价值,但带来的一个副产品是:

企业花的钱给工业界和学术界

积累了大量的大数据人才

这些人才会在第二重阶段时产生巨大的价值。

为什么我会做出上面的结论?我先说个例子吧,光是搭建一个像样子的数据平台,就需要5-6个熟练的大数据工程师折腾大半年,还不包括真正基于之上的多维分析,机器学习(预测)等产品,而这些产品的难度也是很大的,需要大量的人力,关键是还不一定能做好。要达到高效的计算,以及系统的稳定,机器的数量也有不少要求,因为大部分大数据组件都是分布式的。

与此同时,很多人已经意识到了大数据的实施难度,一些专门服务于大数据产业的公司也开始慢慢诞生成长,这些公司覆盖了从大数据组件开发,到大数据平台构建,再到基于大数据平台的上层解决方案,并且在各个行业慢慢伸出了自己的触角。

譬如:当前比较火热的互联网金融,其实就是依托于大数据,做各种原先金融行业很看重的信征,欺诈检测,自动放贷等。这些基于大数据而带来的技术变革大大提高了金融行业的效率,为资金更快的流转提供了基础,从而对所有行业都会产生深远影响。

然而这些公司在当前阶段还没有形成主流,各个公司依然是偏向于选择自建数据平台。

大数据第二重

进入到第二重时,会有明显的四个特征:

  1. 在大量的中小企业碰壁之后,他们意识到,自己做大数据并不是最明智的选择,转而寻方案解决提供商。
  2. 大量的大数据服务公司开始已经做好原始积累。在技术和行业经验上得到充分的发展,并且在行业形成较好的口碑,其行业触角也已经覆盖大部分产业
  • 大公司发现毕竟自己的主业不是去做大数据,而是基于大数据的结果更好的帮助自己已有的产品或者导向做好新的产品。这个时候大公司本身也开始慢慢寻求一些第三方大数据公司的支持。
  • 更好的数据法规支持,保证行业内的数据隐私,安全等(很重要)

此时,整个大数据行业开始慢慢恢复到理性成熟阶段,大家各司其职。BAT依然会以自己的主业为主,大数据虽然是一个产生变革的技术,然而终究是为了产品服务的,应该让拥有大数据基因的公司去做更好些。这也是人类分工体系下必然产生的。

这个时候由于有了第一重阶段的人才积累,很多人会出来创业,大数据创业会成为潮流,并且枝繁叶茂,渐渐覆盖各个行业的各个领域。随着时间推移,一些公司在各自的领域深耕,渐渐形成一些领域内的重量级解决方案公司,而不管是中小型企业,还是大企业,慢慢都会将大数据业务慢慢转移到更专业的大数据公司。

此阶段,可能私有部署依然是主流。

大数据第三重

到第三重的时候,也会有几个特点:

  1. 大数据企业也会形成三极,类似现在的BAT,拥有了产业里的哥斯拉
  2. 云计算的发展已经到了
    1. 中小型公司,绝大多数都已经在云端
    2. 大型公司,已经完全普及混合云架构

这个时候,大数据领域的几家巨头公司,慢慢将自己的业务场景抽象和覆盖的差不多,慢慢成为了大数据云服务公司。

此时可能会产生如下的几个有意思的情况:

  1. 这几家大数据公司会在几家主流云平台搭建各自的大数据平台,方便企业的数据接入
  2. 大部分企业内部可能只有分析师,不再有数据平台架构师,算法工程师等。具体情形和现在使用公有云相似,一些做基础运维的岗位慢慢都被淘汰。
  3. 对应的大数据公司,产生的效益应该要远远好于用户自己搞,因为他们积累的大量的行业共通经验。应该可以节约了大量的企业和社会成本。

后话

云化是整个IT产业的趋势,而在其上的各个产业,譬如大数据产业,也终究是逃不掉这个大趋势的。大数据,还有云计算,是整个新的信息革命的基础,愿大家乘着这巨浪,到达属于自己的彼岸。

时间: 2024-08-01 17:17:47

大数据三重门的相关文章

详解智能交通应用大数据“三重门”

文章讲的是详解智能交通应用大数据"三重门",武汉市悬在路口立杆上的金属小盒子--超级电子眼3个月抓了13万起交通违法,逆行.压线.套牌一眼识别,并能自动报警. 只需10秒,重庆市凭借280万多张"电子牌"的信息传递,各地的道路拥堵信息即可传递到设置在附近的交通诱导屏上. 400多个公交站点,1000多辆公交车, 80多条公交线路,全部被江苏省镇江市交通系统中央指挥中心的工作人员透过实时全景视图,实时监控.出行者随时可获得公交时刻信息和延误预报-- 全国智能交通(IT

零售业如何用Hadoop开启大数据之门?

文章讲的是零售业如何用Hadoop开启大数据之门,在过去几年,全球零售商一直试图利用大数据创造价值.由于其大数据分析基础架构的限制,许多工作被一再推迟.Hadoop为这些零售商打开了新的大门,它可以解决他们在过去几年在大数据领域面临的许多问题和挑战. Hadoop:跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的.核心代码主要是用Java编写的,但有一些是用C编写的.然而,它运行在一个称为MapReduce的编程模型中,这允许开发人员用其他语言创建新

何刚:Hadoop成为打开大数据之门金钥匙

文章讲的是何刚:Hadoop成为打开大数据之门金钥匙,2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行.来自国内外各行业领域的近千名CIO.CTO.架构师.IT经理.咨询顾问.工程师.Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举. ▲IT168专题报道:http://www.it168.com/r

美妆视频小红唇如何打开大数据之门

        小红唇是美妆类的短视频社区电商,各种快速上线的新功能和线上线下的营销活动的效果数据,对于产品计划和公司策略有着决定性的指导意义.但随着业务的快速发展,小红唇面临着如下瓶颈:如何从纷繁的日志.业务数据中提取出有价值的信息,并通过产品数据来指导每一步的运营决策,是小红唇快速发展中亟待解决的问题.       "在使用数加之前,我们采用报表自开发的模式,随着业务的不断拓展,BI的需求越来越多强烈."小红唇技术负责人王洋说,报表开发代码量越来越大.也越来越复杂,维护十分吃力,弊

Hadoop成为打开大数据之门金钥匙

2013年11月22-23日,作为国内唯一专注于Hadoop技术与应用分享的大规模行业盛会,2013 Hadoop中国技术峰会(China Hadoop Summit 2013)于北京福朋喜来登集团酒店隆重举行.来自国内外各行业领域的近千名CIO.CTO.架构师.IT经理.咨询顾问.工程师.Hadoop技术爱好者,以及从事Hadoop研究与推广的IT厂商和技术专家将共襄盛举. Hadoop中国技术峰会由China Hadoop Summit专家委员会主办,由IT168.ITPUB.ChinaUn

跟互联网一样,大数据也需要一个入口

进入互联网时代,所有人忽然知道了一个叫"入口"的概念.谁能占领入口,谁就能有更多的机会为用户提供后续一系列的服务,从而在竞争中保持不败.其实,在纷乱复杂的大数据领域,从业者同样需要一个入口,而这个入口显然是规划和咨询. 正如多年前的云计算一样,大数据已经成为企业圈最热门的话题.在各种场合,厂商.专家不遗余力的为大数据布道,从最早的"啤酒与尿不湿"的故事开始,企业也渐渐意识到,大数据将成为下一个有望改变企业形态的技术. 虽然目前大数据与当年的云计算技术一样如火如荼,但

阿里“玩”大数据

中国经济和信息化2013年第8期 当大数据开启一个时代时,拥有海量交易数据的阿里巴巴,已经认识到这是一座富矿,并开始摸着石头过河. ◎本刊记者 崔婧 | 文 500多年前哥伦布做环球航行时,最想得到的就是航海地图,要不然他不会把美洲大陆当成印度. 当大数据开启一个时代时,阿里巴巴集团(下称阿里)从海量交易数据中挖掘有价值的数据,犹如在大海中航行,马云的鸿鹄之志也是那张航海地图.只是哥伦布的目的地是印度,马云的目标是大数据. 马云宣称平台.金融和数据是阿里未来的三大战略方向.其实,"阿里未来本质上

你造吗?视频监控将是世界上超级大数据生成器

记得几年前看过一部电影,威尔史密斯主演的<国家公敌>,影片中美国的各个角落充斥着摄像机,CIA可以随时调用这些摄像机进行追踪,无数的摄像机形成了一张超级大网--当时觉得有点科幻也有点背寒. 不过短短几年,这已经成为了现实,成百万的摄像头已经联网,给我们的人财安全.交通出行带来了非常多便利,但这仅仅是开始,实际上,现在的技术已经能够很轻松地进行智能识别.人流计数甚至行为识别等,这庞大的视频数据分析比传统互联网数据更接近于真实的世界,这个潘多拉盒子的里面,究竟会带来什么? 视频监控将是世界上最大的

打车软件 “大数据”激活“云计算”

乘客的"甜头"终于到了尽头,嘀嘀.快的两大打车软件正式宣布停补.16日,嘀嘀打车通过官微对外宣布"打车立减"将在次日零点取消,快的也发出公告称,补贴活动于同日告一段落.据了解,快的.嘀嘀停止补贴针对的是乘客端,司机端补贴照旧,且乘客.司机端支付宝钱包扫码奖励依旧. 两大打车软件持续数月的"烧钱战役"终于熄火,"赔钱"是肯定的,但准确讲是"财富转移",乘客等群体得到利益实惠:而"赚吆喝"的