避免投资浪费 认清大数据的10大误区

  大数据在当前的科技新闻中占据了主导地位,它被吹捧为一切问题的可能的解决方案,从入侵检测与预防欺诈,到治疗癌症和设置最优的产品价格。

  但我们定义大体量、多格式、高速度的大数据,并不是能够搞定每一个问题的灵丹妙药。事实上,如果公司迷信周围的一些大数据的神话,可能在错误的方向越走越远,浪费大量的时间和金钱,影响公司的市场竞争地位,或者损害公司的声誉。

  以下是企业应当知道的围绕大数据的十个最大的误区,了解他们将有助于有效地避免大数据的消极影响,并真正获得大数据带来的商业价值。

  避免投资浪费,认清大数据的10大误区误区1:只有数据科学家可以处理大数据事实上,只有数据科学家是不够的。

  “数据科学家本身不能获取大数据的信息,如果你不知道你寻求的首要问题,”Penn Medicine数据分析高级总监Pat Farrell说。“你需要熟悉的行业、领域知识的人,了解存在什么样的问题,有什么见解对这个特定的行业才是有价值的。”

  例如,Penn Medicine包括卫生系统和一所医学学校。长期以来,卫生系统一直在数据仓库收集临床数据。同时,在医学院,新技术允许人类基因组的测序,这需要一个庞大的数据量。

  “我们知道有值在哪里,并且我们终于有计算能力来访问它,”Farrell说,结合数据分析和医学专业知识,开辟了预测医疗保健的一个全新的领域。

  误区2 :数据越大,价值越大Farrell表示,收集、贮存数据并对其进行编目需要时间和资源,不加区别地收集大量的数据可能使得更有价值的项目与这些资源无源。

  Farrell建议,公司在开始收集数据之前,要对它们的具体指标或关键绩效指标有清晰的认识。

  误区3 :大数据为大公司服务大公司可能有更多的数据来源,但即使是小公司,也可以利用从社交媒体平台,政府机构,以及数据供应商获得的数据。

  “不管组织规模的大小,基于数据的决策总比单纯依靠直觉进行决策更加靠谱。” 戴尔软件信息管理解决方案部门的产品管理高级总监 Darin Bartik说。

  小型公司往往比同行的大企业更少地使用数据驱动的决策,但如果他们这样做,他们可以更快地修正策略。

  误区4:现在收集,以后整理存储越来越便宜,但它不是免费的。总部位于旧金山、基于云计算的商业智能厂商Birst的首席执行官Brad Peters表示,对于许多公司来说,数据增长的速度超过了存储成本下降的速度。

  一些公司认为,如果他们只是收集数据,他们以后会找出这些数据的利用之道,但付出大量成本却毫无价值。事实上,一些数据集适用收益递减规律。例如,你进行民意测试来预测选举结果。你需要一定数量的投票人以获得具有代表性的样本。但这个数量达到某个点之后,增加更多的人不会显着影响误差幅度。

  而且这不仅涉及存储成本,Recommind公司信息治理和大数据管理全球主管Dean Gonsowski说,该公司总部位于旧金山,专注于非结构化数据分析。

  例如,数据越多,进行排序的时间就越长。“当数十亿条记录入库,搜索需要花费数小时或数周。”他说。

  误区5 :所有数据的都平等弗吉尼亚州在过去20年一直在收集有关学生注册人数,财政援助和奖励程度的数据。但是,这并不意味着,20年前收集并存储在相同的数据字段中的数据一定是相同的数据。

  “我处理的最大问题是,仅仅因为它是在数据字典中,研究人员认为这是公平的比赛,”弗吉尼亚州议会高等教育政策研究和数据仓库主管Tod Massa说。“例如,ACT和SAT的学生的考试成绩数据,最初只对本州的学生收集,然后有一个缺口,然后收集本州和其他州的学生数据。”同样,不同种族在K - 12级别和在高等教育的数据也有所不同。

  事实上,任何特定的数据,由不同的机构,或不同的人,或在不同的时间点报告的,都可能有所不同。

  因此,分析师需要具备的不只是统计技能,而且还要熟悉数据的当地知识,和行业的整体发展趋势,如SAT和ACT成绩被重新标定。

  “你不能编程所有这些东西放到一个数据仓库。”Tod Massa说。

  这同样适用于外部的数据源,也就是说,很好地使用任何数据,确实需要了解这些数据收集的文化和背景。

  误区6 :更具体的预测更好人的本性认为更具体的东西更准确,如下午3:12比下午某个时间更准确。

  但事实正好相反。在许多情况下,更精确的预测不太可能是准确的。例如,一个客户买了一台特定配置的笔记本电脑,而过去购买该配置笔记本电脑的唯一的客户,还买了一双粉红色的高跟鞋。

  “热门粉红色高跟鞋的推荐可能很具体,但可能太具体,导致很高的误差,”位于加利福尼亚州圣莫尼卡的营销公司Retention Science首席执行官Jerry Jao说。

  所以,通常看起来漂亮的东西,实际上可能无助于业务和营销管理。

  误区7:大数据等同于Hadoop,针对非结构化数据的一个流行的开源架构,最近已经得到了很多关注。但企业还有其他的选择。

  “有整个的NoSQL运动,”SAP大数据总经理兼高级副总裁Irfan Khan说。“有MongoDB,Cassandra等其他完整的技术。”

  其中有些技术可能更适合特定的大数据项目。尤其是Hadoop的工作原理是将数据划分成多个块并行处理。此方法适用于许多大数据的问题,但不是所有的问题。

  “虽然YARN和Hadoop 2解决了一些问题,但有时你需要处理的方式,Hadoop不是理想的选择,”大数据咨询公司LucidWorks首席技术官Grant Ingersoll说,“人们需要保持冷静的头脑,并决定什么是最适合自己的,而追随时尚。”

  误区8:最终用户不需要直接访问大数据大数据往往太过复杂,以至于需要专门的员工来处理。但是,这并不一定如此。

  举个例子来说,由重症监护病房中的设备所产生的全部数据。心脏速率,呼吸数据,心电图读数。虽然,很多时候,医生和护士就只能看到病人的当前读数。

  “我看不到在10分钟前的情况,也不能绘制未来一个小时之内的趋向线,”飞利浦医疗保健患者护理和临床信息首席营销官Anthony Jones表示。

  但能够看到病人的历史数据对于一个医生做决定非常有价值。“这些家伙有一个核心的数据科学团队,他们缺少一个巨大的机会,”Jones说。

  现在的问题是让所有不同的设备生成的数据能够交互,即使它们并非为此设计,并使用不同的平台、操作系统和编程语言。一旦你这样做,医生和护士能够在需要的时候得到一个有用的数据表单。

  误区9:大问题才用到大数据一家大银行的首席信息官最近发表了关于大数据的谈话,并被询问关于最终用户自助服务的问题。

  “这位首席信息官说,"我不相信",”Birst首席执行官Peters回忆说。

  这是一个共同的态度,他说,一些高管认为大数据只回答了某些类型的问题。这种态度可以这样概括:“我们的大数据目标是解决极少的高价值的问题,通过核心的数据科学家团队。我们不希望数据混乱,让普通人有机会访问这些信息,因为我们不认为他们需要它。”

  Peters不同意这种观点,但表示这常见于很多行业。“这是大型保险(放心保)公司里面猖獗的神话,但业务用户都没有足够的智慧处理它。”

  误区10:大数据泡沫终将破灭炒作周期可能来回反复,但技术始终坚持变革。互联网泡沫的破灭,并非互联网终结的信号。

  即使在炒作平静下来,公司仍将有大数据需要处理。事实上,由于呈指数增长,他们将有预计比以往任何时候更多的大数据处理 - IDC预计,直到2020年,累计收集的数据数量,每两年将增加一倍。

  并且它不只是公司目前收集的东西。相反,新的数据类型可能还会出现,需要大量的存储。

  宾夕法尼亚州互动营销公司Cadient集团首席技术官Bryan Hill表示,认为“大数据”只是一个阶段,企业可能错过机会捕捉到可能对他们的业务产生影响的数据元素。

  “所谓"大数据"很可能会改变,就像云计算和以前的web其实没有什么不同,”他说,“这个词可能会改变,但大数据的精神会在里面留下来。”

时间: 2024-09-25 22:45:16

避免投资浪费 认清大数据的10大误区的相关文章

认清大数据的10大误区

 大数据在当前的科技新闻中占据了主导地位,它被吹捧为一切问题的可能的解决方案,从入侵检测与预防欺诈,到治疗癌症和设置最优的产品价格. 但我们定义大体量.多格式.高速度的大数据,并不是能够搞定每一个问题的灵丹妙药.事实上,如果公司迷信周围的一些大数据的神话,可能在错误的方向越走越远,浪费大量的时间和金钱,影响公司的市场竞争地位,或者损害公司的声誉. 以下是企业应当知道的围绕大数据的十个最大的误区,了解他们将有助于有效地避免大数据的消极影响,并真正获得大数据带来的商业价值. 避免投资浪费,认清大数据

Oracle预测:2017年大数据的10大可能

文章讲的是Oracle预测:2017年大数据的10大可能,2017年已经到来,大数据在飞速成长.无论是物联网还是云计算方面,企业技术都在上升,促进了市场的巨大变革.许多公司正在接受将大数据作为这个时代的竞争优势.在这篇文章中,我们将讨论Oracle对大数据2017年及其未来的一些预测. 1.拥抱机器学习的时代 机器学习以前只限于数据科学家,但2017年将全面开放.无论是谷歌的最新排名算法或卓越的电子产品,机器学习都能找到一个立足点.2016年的大数据已经相当庞大了,预计今后将继续增长,机器学习也

互动营销年度10大数据、10大现象揭晓

2013年1月9日, Adworld2013互动营销世界期间,DCCI互联网数据中心与业界各方一起,揭晓了互动营销年度十大数据.十大现象. 十大数据是: 数据1:网络广告营销市场规模超700亿,电商营销成增长主力: 数据2:百度年营收逾200亿,追平央视,成第一传播营销平台: 数据3:阿里淘宝系2012单季营收超百度,2013整体将超越百度: 数据4:移动广告翻番,手机用户超10亿,智能机销量超非智能机: 数据5:微信用户近3亿,移动时长超微博,社会化营销浮现新主场: 数据6:网络视频覆盖超9成

鲁四海解读中国大数据发展10大趋势5大挑战 —— 首席数据官联盟2016《中国大数据企业排行榜》发布会实录

2016年7月14号,首席数据官联盟在京发布了2016年<中国大数据企业排行榜>.本次发布的<中国大数据企业排行榜>由北京大学电子政务研究院.中国新一代IT产业推进联盟共同指导,由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定.与此同时专家组还总结出了中国大数据发展的10大趋势和5大挑战.此次<中国大数据企业排行榜>得到业界的大力支持,发布会由中华网.中关村智能硬件产业联盟.北京优智活孵化器协办.机械工业信息中心处长白涌如.北京大学电子政务研

中国大数据发展10大趋势5大挑战

近日,首席数据官联盟在京发布了2016年<中国大数据企业排行榜>.本次发布的<中国大数据企业排行榜>由北京大学电子政务研究院.中国新一代IT产业推进联盟共同指导,由首席数据官联盟专家组依据大数据企业评价指标体系对国内大数据企业进行综合评定. 与此同时专家组还总结出了中国大数据发展的10大趋势和5大挑战.首席数据官联盟发起人.中国新一代IT产业推进联盟技术分委会秘书长鲁四海做了精彩解读.鲁四海为我们分析了中国大数据发展的10大趋势和5大挑战,以下是现场实录: 趋势一:首席数据官开始崛

吴甘沙清华讲:大数据的10个技术前沿(中)

本次讲座是清华大数据产业联合会"技术•前沿"系列讲座的第一讲,主讲人为英特尔(中国)研究院院长吴甘沙.回复"清华大数据"可获得完整版PPT. 吴甘沙院长从大数据技术前沿的十个问题入手,对大数据产业进行了深度解析.讲座分为三部分: 大数据的10个技术前沿(上)--数据,12月25日已发 大数据的10个技术前沿(中)--计算,本期 大数据的10个技术前沿(下)--分析,待续 演讲正文: 第四,软硬兼施.就是软的硬的两手抓. 首先,对大数据来说,一定要选择更好的硬件架构.

10分钟让你明白大数据 网友观点大拆解

文章讲的是10分钟让你明白大数据 网友观点大拆解,大数据的概念被吵的越来越厉害,这对于一个新技术领域的诞生是一个必经过程.对于"大数据"(Big Data),研究机构Gartner给出的定义是:"大数据"是需要新处理模式才能具有更强的决策力.洞察发现力和流程优化能力的海量.高增长率和多样化的信息资产. 两年前,<纽约时报>撰文"欢迎大数据的到来",两年后,大数据的商业价值已经显现.在各个行业,我们都已能看到大数据的身影.网友关于大数据

大数据是个大生意

中国用了10年的时间将GDP从16万亿人民币增长到63万亿人民币,创造了世界经济的奇迹.GDP增长速度在2014年降到7.5%左右,所有人都在问中国经济到底是怎么了,政府应该如何促进经济的增长.2014年的GDP中消费占比已经超过了50%,标志着中国经济正在向市场经济转型,消费占GDP 50%-70%是中等发达国家向市场经济过渡的一个表现,因此未来中国经济增长最大的引擎应该来源于消费,特别是个人消费.提升中国社会零售总额,提高个人消费水平,将成为中国经济发展的重要因素. 中国目前正在经历经济结构

数据成为甲方 大数据呼来大服务时代

本文讲的是数据成为甲方 大数据呼来大服务时代,近期,中国电子信息产业发展研究院(CCID)日前发布<2011年中国数据库软件市场研究报告>(以下简称<报告>).预测2012年中国数据库软件市场规模预计达到38.71亿元,将比2011年大幅增长20.6%,以人大金仓为首的国产数据库软件市场规模预计达到3.29亿元,比2011年增长26.5%,呈现爆炸式增长.报告指出预计到2020年,世界上的数据存储总额将达到35 ZB,大数据的应用将成未来数据库的必然趋势.同时报告认为,国产数据库要