数据市场的兴起 2012大数据五大预测

更加强大且富有表现力的分析工具

在过去的一年中,围绕着NoSQL和Hadoop,基本的存储与数据处理引擎方面的改进工作得到了加强并且日趋工程化。毫无疑问,这种态势将会持续 下去,因为我们看到了Hadoop世界中有越来越多形态各异的产品融入到了各种发布包、设备和按需的云服务当中。我衷心希望在不远的将来Hadoop能够 成为必要的基础设施。

现在,已经出现了一些面向程序员与数据科学家的工具(例如Karmasphere和Datameer),此外,还有面向已经建立起来的分析工具的Hadoop连接器(例如Tableau和R)。但还有一种方式可以让大数据变得更为强大,那就是降低实验的成本。

下面两种方式可以使大数据变得更为强大。

更好的编程语言支持。因为我们将数据而非业务逻辑作为程序中的主要实体,
所以必须要创建或再去探索一些方言,使我们能够将精力放在数据而非底层 Hadoop设施所透露出来的抽象上面。换句话说,编写更简短的程序,能够更清晰地表达出我们对数据所做的处理。这些抽象将有助于为非程序员创建更好的工 具。 需要提供更好的交互支持。如果说Hadoop有缺点,
那么其缺点也在于它所孕育的批量化处理的计算本质。数据科学的敏捷本质决定了它钟爱于能够提供更好交互性的工具。

流线化的数据处理

Hadoop批量化的处理对于很多场合都足够用了,特别是数据报告的频率不需要达到分钟级别的场合。然而,批量化处理并非总能满足我们的要求,特别是对于移动和Web客户端等在线需求,或是财务和广告等需要实时变化的市场。

在未来几年中,用于处理流线化或接近实时的分析与处理的可伸缩框架和平台将会得到采用。Hadoop将会支持大规模的Web应用,这些平台将会由大规模位置感知的移动、社交和传感器应用所推动。

对于某些应用来说,已经没有足够的空间来存储业务接收到的所有数据:在某一时刻,你需要扔掉一些东西。凭借流线化的计算能力,你可以对数据进行分析 并决定扔掉哪些数据而不必查看map/reduce的“存储—计算”循环。在实时框架领域中,新涌现的竞争者有来自Twitter的Storm和 Yahoo!的S4。

数据市场的兴起

当与其他数据集混合到一起时,你自己的数据会变得更有说服力。比如说,将天气状况添加到客户的数据中,检查是否有与客户购买模式相关的天气模式。获 取这些数据集是个让人头疼的问题,特别是在IT部门之外做这件事,并且要求一定的精度时更是如此。数据市场的价值在于为这种数据提供了一个目录,以及流线 化、标准化的交付方法。微软将其Azure市场集成到分析工具中的做法预示了我们今后能更加方便地访问数据了。

数据科学工作流与工具的开发

随着数据科学团队不断为各个公司所认可和接受,其角色和流程将会变得更加正规化。成功的数据科学团队的驱动力之一就是其与公司经营活动的集成程度,这与成为边缘的分析团队截然相反。

软件开发者已经拥有了大量富于逻辑与社交性质的基础设施,这包括wiki与源代码控制,以及用于将其流程和需求公开给企业主的各种工具。集成的数据 科学团队需要自己的一套工具才能高效协作。其中之一就是EMC Greenplum的Chorus,它提供了针对数据科学的一个社交软件平台。使用这些工具有助于组织中数据科学处理的不断涌现。

数据科学团队将会逐渐开始一些重复的流程,我们希望这是敏捷的。相比诸如The Guardian和NewYork Times之类的新闻组织的新闻数据团队所做的开创性工作:只要给定一个不长的时间表,这些团队就可以将原生格式的数据转换为成品,这需要与记者携手来完 成。

对可视化的理解和需求的提升

可视化在数据工作流中能够实现两个目的:解释与探索。虽然业务人员可能将可视化看作是最终结果,但数据科学家还会将可视化作为寻求问题以及探索数据集新特性的一种方式。

如果说成为数据驱动的组织需要培养所有员工拥有更好的数据感觉的话,那么可视化在将数据操纵能力传递给那些不会编程或缺乏统计分析技巧的员工的过程中就扮演着重要角色。

过去的整整一年,业务对数据科学家的需求一直都是如此。我不断地听到数据科学家说,他们最想要的是:懂得创建可视化的人才。

(责任编辑:蒙遗善)

时间: 2024-09-11 00:13:26

数据市场的兴起 2012大数据五大预测的相关文章

大数据的起源和错失大数据市场的鼻祖Google

今天的讲话有三个主题: 大数据是什么Google的大数据发展Google为什么在大数据市场没做好,就是为什么没赚到钱也没有实际的影响力 大数据是什么 我从08年开始实际接触Hadoop的,这得益于当年IBM和我在的学校的一次合作,做一个研究项目:怎么样用蒙特卡洛的办法来解决数据中的不确定性问题.这个解决方案有两个特点,第一是计算量非常非常的大,第二是计算和计算之间相对独立.这就使得基于Hadoop的并行计算成为一个很好的选择. 大数据作为一个名词其实是晚于Hadoop的,更是晚于MapReduc

工业大数据的三大挑战及大数据未来中国五大商业趋势

在设备运行的过程中,自然磨损本身会使产品的品质发生一定的变化.通过信息技术.物联网技术的发展,通过传感器技术,实时感知数据,知道产品出了什么故障,哪里需要配件,使得生产过程中的这些因素能够被精确控制,从而真正实现生产的智能化.一定程度上,工厂/车间的传感器所产生的大数据直接决定了"工业4.0"所要求的智能化设备的智能水平. 从生产能耗角度来看,设备生产过程中利用传感器集中监控所有的生产流程,能够发现能耗的异常或峰值情况,由此能够在生产过程中不断实时优化能源的消耗.同时,对所有流程的大数

2016政策与市场协同发力大数据,小公司如何搏杀BAT?

大数据这个词来到2016年,绽放出绚烂的光. 先看看最近几天的新闻:大数据分析腐败问题.大数据曝光基友的世界.大数据助交警查处多起毒驾--不仅仅是与经济相关,大数据正在渗透社会各个领域,与传统社会嫁接的大数据,正在开花结果. "2016年大数据行业会继续加速发展,可能在2017年是一个爆发点,所有行业行业都会被大数据冲击,所有企业都会意识到该玩大数据.产品同质化越来越很严重,最终会变成以客户为中心,以数据为支撑.未来企业的竞争方式是你有5个维度的数据,而我有10个维度的数据,那我就赢了.&quo

CMO:市场营销人员想从大数据里面得到什么?

营销人员乐于对消费者人生价值进行预测分析 大数据越来越倍受各行业http://www.aliyun.com/zixun/aggregation/38848.html">营销人员的关注,但是要让它发挥充分作用却是一件不那么容易的事.所以,许多营销人员将数据既看作是一种阻力,又是一种机遇.因此,他们也清楚地意识到要更好的使用大数据还有很长一段路要走. 来自于CMO Council和SAS 公司2013年第一季度的调查发现,全球10个中有6个营销人员对大数据持积极乐观态度.五分之一的受访者认为,

大数据有大价值 顶尖公司大数据收入榜单

据了解,互联网上每一秒钟传输的视频,需要花费一个人5年的时间才能看完.可以说,用"海量.爆炸性增长"来形容大数据,已经不是什么新鲜事了.(以下数据来自:2015年中国大数据交易白皮书) 据统计,2014年全球大数据市场规模达到285亿美元,实现53.23%的增长,2015年,全球大数据总体加速发展趋势不变,预计大数据市场规模将达到421亿美元;到2020年,全球大数据市场规模将达到1263.21亿美元,同比增长17.51%. 大数据已成为全球IT支出的新增长点,这块不断增大的蛋糕开始吸

创业必称“大数据”?是时候重新审视大数据的价值了

"大数据"这个概念大约是从2011年开始火起来的,如果从Apache Hadoop项目的正式启动算起,海量数据的分布式存储.管理和计算技术已有10年的历史.这10年里,创业圈逐渐流行起一种通病,但凡创业必称"大数据",似乎每个创业项目都会多少与之关联.大数据到底是什么?它是一项技术.一个产业还是一种思维方式?当越来越多的人将兴趣转移到AI.VR上时,也许是时候重新审视大数据的价值了. 在IT领域,一项技术的价值得以验证并实现往往需要走完四个阶段:技术原创.开源.产业

大数据时代分析师 Splunk助大数据落地

文章讲的是大数据时代分析师 Splunk助大数据落地,近日,Splunk公司在北京举办了一场"大数据如何落地研讨会",为大数据技术在中国企业的落地带来了诸多的前沿观点.可以参考的实施路径以及丰富的案例. 数据爆炸时代的来临 在当前全球经济形势下行的背景下,中国的经济形势也不甚乐观,但正因为如此,中国企业对挖掘大数据价值的渴求尤为强烈,希望以此提高客户体验,促进业务的增长.根据国内市场研究机构计世资讯的研究,2012年中国大数据市场增长率为52.4%,市场规模达到3.2亿元.55%的受访

粤数大数据公司领跑广东省大数据产业发展

为加快推进广东省云浮市大数据产业的发展,日前,广东粤数大数据有限公司与广东省云浮市人民政府签订框架合作协议,正式参与云浮市大数据产业发展,力争将云浮市打造成辐射"珠三角"及"粤西南"地区大数据产业基地. 这是贯彻落实国家和广东省大数据战略的具体行动,也是云浮市搭上"大数据"发展快车的关键性里程碑. 政府支持 建设"中国云谷" 近年来,大数据作为"互联网+"以及大众创业.万众创新的重要组成部分和有效手段,逐渐

行业:大数据基础设施逐渐完善,大数据应用价值爆发

大数据应用是指将处理好的数据产品应用到行业中去,为企业提供决策支持,从而提高运营效率,是发展大数据产业的终极目的也是大数据变现的最后阶段,随着大数据基础设施的逐渐完善,限制大数据应用的诸多难题开始被一一化解,从数据源到大数据应用的变现通道已经快速形成.我们认为,作为大数据变现最终阶段的大数据应用层必将开始实现加速发展,并将引导大数据产业链价值更多的向应用层流动, 同时越来越多新的大数据应用方式将被挖掘出来从而引导大数据应用向全面产业化方向发展. 大数据应用模式创新加速,大数据应用多行业实现落地