再谈大数据行业里的两大误区

之前在虎嗅发了一篇文章《大数据行业里的两大误区》,很多朋友评价还不错,受此激励,结合最近目睹、经历的项目,想多写一些。经过笔者总结,发现大数据的误区还真是不少,尤其是国内,很多人以讹传讹,造成了很多基本概念的偏差。接上一篇文章,再来谈谈大数据中的一部分误区,供大家拍砖。

误区三:数据量特别大才叫大数据

在 “数据界”存在这样有一波人,他们认为“只有Peta级以上的才叫大数据,甚至到了Zeta以上才叫大数据,目前还没有到真正的大数据时代!”,每次听到这样的话,我就知道这些人受IOE某巨头的4V理论中的“容量”影响太巨大了。对此,我想说的第一句话是“尽信书不如无书,尽信巨头不如去IOE”,去 IOE不只是要从硬件做起,还要从思想上敢于挑战巨头做起,尽管很多IT界的经典理论都是传统巨头提出的,但是随着挑战者的出现,萌发了新的思想和技术后,传统巨头会被慢慢颠覆,这也是我们人类前进向前的一个重要因素。如果我们还停留在迷信巨头的时代,如此刻板教条的去追求一个概念,那么就不会有现在的 Hadoop,不会有现在的Spark,不会有现在的特斯拉,不会有机器学习人工智能,更不会有未来的第N次工业革命。

首先我想强调,大数据技术真的不是一个新鲜词,在之前的文章中我已经说过,大数据的本质还是数据,数据这个行业已经发展了若干年,而数据量的规模永远是超出该时代的想象的,比如十几年前,一张软盘的数据量也就1.44M,当时的数据如果达到1T都让旁人咂舌。那么按数据量的标准,当时如果有人收集了1T数据就已经进入大数据时代了吗?显然不是!所以我想说,数据量的大小并不是衡量大数据的标准,如果按数据量去判断是否大数据的话,那么“大数据”这个词真的是一个伪命题,就如同“老虎比如是老的,小伙必须是小的,巨头必须是脑袋大的,飞人必须是长翅膀的”这种纯粹字面意思去定义的话题一样。

那么再回过来说,大数据的概念是什么?首先,大数据是一个完整的生态体系,从数据的产生、采集、加工、汇总、展现、挖掘、推送等方面形成了一个闭环的价值链,并且通过每个环节的多种技术处理后,为所在业务场景提供有价值的应用和服务。其次,大数据的核心是什么?一方面是开源,一方面是节流,目前大数据技术的核心目标都是通过低成本的技术更好的满足对数据的需求(尤其是处理近年来更多的非结构化数据),并在在满足需求的基础上尽可能多的为企业节省投资。说一千道一万,大数据的核心理念还是满足应用需求,有明确目标的技术叫生产力,没有业务目标的技术叫“浪费生命力”。

误区四:为了大数据而大数据

这个误区我认为是目前最严重的。在部分企业中,追求技术一定要最新、最好、最炫,一定要拿到国际先进、世界一流才行。所有的企业,不分行业不分性质不分地域不分年代,一律高喊“赶超BAT,大数据助力**企业达到**目标”,接下来就是先去IOE,然后投资买集群,把之前的各种高性能小型机大型机都不用了,之前买的O记授权全部停了,之前的几十年投资一夜之间作废,又投入了更多的资源去追赶“大数据”。

同学们,这种劳民伤财的事情相信大家每天都会听到或者亲眼看到,很多企业不计成本就是为了博领导一笑,这得是多么大的误区啊。对此我想说:

第一,从技术上来说,比如BAT或者很多互联网企业去追求大数据,是因为业务发展的需要。任何一个互联网企业一出生就是为了流量和点击而活着,这就意味这大量的非结构化数据需要进行快速处理,这时候就决定了互联网企业只能通过一些并发手段去分解底层的数据,然后进行快速加工,并满足其服务用户和市场的需要。互联网企业的业务流程和业务模型就决定了必须得采用大数据技术。反之,很多企业根本用不着这些技术,有些企业简单的一两个Excel文件里面做几个公式就可以满足它的发展,而且数据的周期还是按月处理的,根本不需要运用这些技术。

第二,从投资上来说,互联网企业出生都是平民,根本买不起大型设备,就算一夜暴富后,也没有一个传统的小型机大型机可以更好的满足它们的发展,故只能另辟蹊径创造价值链和标准了,在之前的低投资、轻量级架构上,不断进行小量的线性硬件投资满足业务的发展。反倒是一些传统企业,甚至是巨无霸,其投资计划已经在一年前明确,而且在原来的基础上投资会更有ROI(投资回报率),现在反倒为了追求大数据的口号,牺牲了之前的大量投资,除了“得不偿失”,剩下的只能是满地的节操了。

大数据技术甚至任何一种技术都是为了满足特定的业务目标而生的,在具备了明确的业务目的后,顺势设计符合自身业务架构的技术架构,才是一种科学的健康的发展观。如果您是一位老板、 CEO或者投资人,千万要明白,大数据技术对于企业来说,有时候像水,而企业的业务目标就是那艘船,“水能载舟,亦能覆舟”。

随着生产关系的不断调整,又会出现若干轮生产力的不断进步,大数据之后的技术也会日新月异的进步着,比如现在开始潮流涌现的“机器学习、深度学习”等诸多的人工智能方面的技术,也出现了比如“小数据”、“微数据”等更细方向技术的细分,在技术的洪流到来时,只要保持清晰的以满足业务为导向的头脑,根据自身的业务需要设计自身的技术架构,就不会被各种流派,各种概念淹没。

时间: 2024-10-27 19:41:15

再谈大数据行业里的两大误区的相关文章

云计算和大数据成呼叫中心两大趋势

随着从概念到应用的落地,云计算和大数据已逐渐为人们所熟知.在云计算和大数据普及的过程中,一个重要特征开始显现:这两大概念已经从自身领域拓展开来,逐渐与其他相关领域相结合,从而改变许多http://www.aliyun.com/zixun/aggregation/8150.html">传统行业的运营模式. 呼叫中心就是这样一个领域.传统意义上,呼叫中心采用自建和外包两大模式,不仅建设速度慢,而且需要花费大量投资,现在随着云计算的兴起,第三种呼叫中心构建方式开始出现.近日,Orange Bus

大数据行业图谱之一:底层基础平台公司能做多大?

底层基础平台主要解决的是数据存储.计算的问题,是整个大数据生态的基石.采集到的数据,首先要能高效.快捷地存起来,才能进行数据分析和数据挖掘. 这一层非常重要,同时也是技术含量最高的一层.以底层技术中明星Hadoop为例,用Hadoop的公司很多,能做Hadoop发行版的公司凤毛麟角. 底层基础平台细分领域里的大数据公司众多,有专注Hadoop发行版的星环科技.红象云腾和天云大数据,有传统数据库厂商人大金仓和南大通用,有研发新型分布式数据库的巨杉数据库,还有唯一来自中国的Apache社区顶级项目K

大数据行业图谱之(1):底层基础平台公司能做多大?

大数据是企业服务市场中的新兴领域,短短几年时间,大数据概念从兴起到落地,开始在各行各业发挥作用,行业政策频出,技术飞速发展,受到资本追捧. 整个大数据行业可大致分为三层,底层基础平台,中间层通用技术,上层行业应用.接下来,爱分析将按照上述分类,逐步介绍各细分领域的行业现状.未来前景.今天是大数据系列的第一篇--底层基础平台. 底层基础平台主要解决的是数据存储.计算的问题,是整个大数据生态的基石.采集到的数据,首先要能高效.快捷地存起来,才能进行数据分析和数据挖掘. 这一层非常重要,同时也是技术含

大数据行业迎来监管风暴 产业重新洗牌

"刷屏了,不发朋友圈担心别人以为与我有关."近日,北京某大数据公司的负责人黄帆(化名)告诉21世纪经济报道记者,他转发了一条多家大数据公司被查的帖子,很快又删除. 尽管被帖子提名的公司随后发公告澄清"未被调查",但创业者们已如惊弓之鸟. 21世纪经济报道记者采访国内十余家大数据公司和投资机构,很多人认为传闻言过其实,对被提名的创业公司是伤害. 但是他们都不否认,行业规范已经悄然开始,越来越多涉及用户数据隐私的案件发生,即便只是一批大数据公司被"协助了解情况

大数据行业2016的变与不变

据<中国科学报>报道,"这两年大数据的风头明显盖过了云计算,这不是好事."近日,华为IT产品线大数据解决方案规划总监徐兴海在2015中国大数据技术大会上如是说.他认为,云计算已过了炒作期,在公有云的带动下实现了规模化落地,"已经开始赚钱了":而在去年,大数据的发展还在泡沫的破灭中,今年大数据已开始有走入应用的"苗头","而不仅仅是炒作". 除了从"炒作"到走向"泡沫的幻灭",

美国上半年风投放缓,这对大数据行业意味着什么?

数据显示,风投资金正在变得更加集中于少数企业. 本月早些时候发表的一份新报告显示,今年上半年,风投的总体步伐有所放缓.虽然软件业从整体来看表现良好,但初创公司所收到的投资数量却呈下降趋势.数据显示,经过了几年对大数据初创公司的大力投资之后,大数据产业可能将迎来改变. 普华永道(PricewaterhouseCoopers)与美国国家风险投资协会(National Venture Capital Association)联合发表的<资金树报告>(MoneyTree Report)报告显示,从今年

DTCC2015:大数据行业应用及开源架构

文章讲的是DTCC2015:大数据行业应用及开源架构,以"大数据技术探索和价值发现"为主题的第六届2015中国数据库技术大会(以下简称大会)近日在京召开.大会吸引了近2500名技术爱好者参与,活动主办方除设置主会场外还开设了多个专场,在<专场19:大数据-商业与开源架构>上来自中海纪元数字技术公司技术总监任广坤,携程网高级架构经理赵俊,搜狐DBA赖亿,博晓通联合创始人董健将为我们带来一场精彩的大数据全方位的知识"盛宴". ▲中海纪元数字技术公司技术总监任

大数据行业图谱(3):为什么大数据应用公司这么贵?

2017年,大数据这把火烧了六年,依然没有减弱的征兆.过去一年,话题的热点已经不再是大数据概念和定义,而是集中在大数据的应用.大多数企业老板已经明白什么是大数据,开始关心数据如何与业务结合,提升企业盈利能力. 大数据应用是整个数据产业的核心,也是企业级客户真正愿意为大数据业务买单的原因.大数据并不神秘,企业在大数据上投入与上个时代企业在硬件设备和ERP等软件上投入没有本质区别,都是认为这种投入能帮助它开源节流,解决业务问题.除了数据交易,数据是无法直接给企业贡献利润的,数据的价值在于让企业的主营

最新大数据行业鸟瞰图及解读

原标题:Matt Turck:大数据行业信息图以及一些思考 本文来自潘星键投稿(@星键V:微信:akavir),他在汤森路透从事数据质量分析工作近7年,文章编译自Matt Turck<The State Of Big Data in 2014: a Chart>,Matt Turck曾任Bloomberg Ventures常务董事,现为FirstMark Capital合伙人. 从我第一次尝试为繁荣发展的大数据生态系统绘制一张信息图已经过去了两年, 而这期间大数据行业发生了很多巨大的变化. 我