云计算时代:当大数据遇到敏捷

今年九月在纽约的O’Reilly媒体会议上大数据技术有两大呼声:企业级和敏捷。我们知道企业级的商务智能产品有Oracle Hyperion、SAP BusinessObjects和IBM Cogonos,而敏捷产品有QlikView、Tableau和TIBCO Spotfire。

如果事实证明大数据必须购买企业级的产品,那么就意味着大数据会花大本钱。但这并非绝对,通过使用大数据敏捷技术,各种规模的企业都可以控制成本,从大数据中获益。至关重要的是尽可能降低成本并最大化的了解大数据集,一旦数据被转化为可用便具有对业务的洞察力,然后以各种方式将问题汇总,并发挥企业技术的优势解决问题。

企业级 VS 敏捷BI

首先让我们来看看BI世界里发生了什么。企业级BI设计的意图是为了满足大型企业中许多信息孤岛的要求。典型场景如下:信息孤岛中的数据通过ETL的过程被清洗和规范化,进入到数据仓库中,成为一个可用的版本。然后,通过报表和分析技术,数据被切片、切块,并交付给成千上万的人。企业级BI是一个复杂的过程,它通过多种应用程序的协同工作,以满足企业中成千上万人的需求。企业级BI的问题是它的配置需要花费很长时间,所有大型的复杂系统都十分难以配置和改动。

敏捷BI可以解决企业BI所面对的诸多问题。敏捷BI可以以高度互动的方式为最终用户排序、筛选和统计数据,而不需要BI专家的指导。企业采用敏捷BI技术,可以更广泛的享受数据所体现的价值。

企业级 VS 敏捷的大数据

现在是大数据技术出场的时候了,EMCGreenplum、Teradata Aster Data等是企业级的代表,而1010data、Pervasive DataRush等则是敏捷的代表。这两类厂商都意识到了企业级和敏捷在BI领域的鸿沟,并努力解决这个问题。企业级大数据供应商知道他们需要敏捷,而敏捷的大数据厂商知道他们需要提供高质量的企业级解决方案。

企业级大数据供应商推出了一些灵活性解决方案。Greenplum推出了一个名为Chorus的产品,以提供一个协作环境,支持数据分析和查找的过程。Aster提供了一系列SQL扩展,允许Hadoop类型的查询使用类似与SQL的语法。在实现敏捷方面,这些产品的扩展是很大的进步,但对Greenplum和Aster企业级技术所带来的高昂价格标签,人们更感兴趣的问题是:能否以敏捷的大数据技术弥补企业级技术的不足,以更少的投资获得更多的回报?

敏捷的大数据解决企业级平台的难题

回头看看我们所提到的三种敏捷的大数据技术,首先的问题是:它们为什么被称作是敏捷的?

答案其实很简单,它们可以让用户获取非凡的数据洞察力,并削减价格。如下:

●只需经过些许培训,用户就可以使用Splunk进行数据的查询、筛选和显示

●1010data以电子表格的形式为用户提供大数据的处理界面

●Pervasive DataRush以图形界面并行、高效地处理数据

一个敏捷的大数据在大批量处理中的案例

David Inbar是Pervasive的市场发展战略办公室的首席执行官,在价格低廉的做了一个实验演示,处理了足够庞大的可称之为大数据的数据。

DataRush的工具包消除了程序员并行编程的复杂度。即便是科技狂人,相对编写一个单线程的程序,并行编程也无异于是火箭科学。DataRush为并行编程提供了一种编程模型,以替代艰难的多核函数编码。比如,你可以编写一个基于组件模型的工作流应用程序,该工具包会自动将其转化为该工作流所允许的并行应用程序。

大数据系统如Hadoop具有横向扩展性。虽然DataRush可以承担此类角色,并能在数千台计算机中安装,但是它的不同之处在于它一般在一台计算机中安装,用以发掘多核系统的潜能。

DataRush最有特色的功能是它并不需要你知道计算机究竟有多少个核,当编写一个DataRush应用程序时,它会自动感知计算机上核心的数目,并最大限度地利用,以进行并行处理。

将敏捷组件集合起来构建企业级系统

敏捷技术在针对大数据创建智能业务系统方面具有极大优势,但仍然有相当长的路要走。敏捷BI能够降低成本,面对大数据的挑战,它将证明它的价值。

(责任编辑:吕光)

时间: 2024-09-21 13:40:47

云计算时代:当大数据遇到敏捷的相关文章

详细解读云计算时代的大数据

在面对着急速增长到高达PB级的海量业务数据时,人们脑海中自然而然出现了许许多多的疑问,大数据能对我的业务提供怎么样的帮助?云和大数据之间究竟存在着怎样的联系?云能否落地?Hadoop到底能不能当成是大数据的万能药?虚拟化将在大数据之中扮演一个什么样的角色?抱着这么多的疑问,今天我们就来走近大数据. 根据IDC的一份名为"数字宇宙"的报告,预计到2020年全球数据使用量将会达到35.2ZB.在如此海量的数据面前,处理数据的效率就是企业的生命. 大数据的来源 海量数据到大数据的发展过程是一

云计算时代建立大数据交易所 势在必行

随着大数据技术的成熟和发展,大数据在商业上的应用越来越广泛,有关大数据的交互.整合.交换.交易的例子也日益增多.本文就进行大数据交易的一些问题, 以及建立大数据交易所的必要性, 做一些探讨和研究.我们认为,建立大数据交易所是势在必行的市场需求. 目前下列公司和机构通常拥有大数据: 大型实体商业公司或电子商务公司,如大型连锁商店walmart,sears等,或amazon,阿里巴巴.这类公司大都拥有大量的客户数量.长期的客户购卖记录.客户的支付历史等.这类公司最感兴趣的是客户购物的消费偏好和消费习

云谷大世界对话:探讨云计算,碰撞大数据

北京·亦庄·云世界大会2013于12月12日在亦庄创意生活广场举行.本届云世界大会以"Cloud Now @ CHINA "为主题,围绕"趋势发展的世界云"和"自主创新的中国云"两大主线.延续北京硅谷对话"双城记"传统,来自硅谷的云计算顶级专家,云计算领域顶级的公司与中国互联网及云计算领域的领导企业.风云人物,通过技术.创新.投资.趋势等方面的碰撞,解读云计算本质.趋势.创新创业机会.同时,与会者也将零距离接触到中国云计算这几

互联网时代的大数据思考

ZDNET至顶网CIO与应用频道 07月14日 综合消息:主题为"新银行 新蓝海"的2014年中国银行业座谈研讨会在青岛召开,文思海辉技术有限公司商业智能事业部副总裁贾丕星介绍了文思海辉在大数据和互联网金融方面的探索. "在当前的时势下商业银行面临的各种挑战,包括互联网金融的挑战和冲击,大规模资产质量的下降造成的违约损失,利率市场化,这些都是商业银行现在不得不面对的事情,我们要探讨的是数据在其中起到的作用."贾丕星说道. 贾丕星表示,对于商业银行来讲,其本身内部大量

阿里集团刘冰:未来的时代是大数据时代

文章讲的是阿里集团刘冰:未来的时代是大数据时代, 7月23日上午消息,2015中国互联网大会之国际互联网高峰论坛在北京国际会议中心举行.阿里巴巴集团副总裁刘冰在现场做了主题的演讲. 刘冰表示,未来的时代是大数据时代,大数据就像魔方一样吸引着人类,相信在未来.在中国会产生100个.1000个.甚至10000个超越阿里巴巴的公司. 在其看来,现在我们生活在一个非常好的时代,互联网是基础设施,大数据是战略资源,云计算是核心竞争力. 以下是刘冰演讲全文: 尊敬的卢秘书长,尊敬的各位来宾.各位朋友,大家上

如何让云计算与企业大数据强强联手?

本文讲的是如何让云计算与企业大数据强强联手,大数据是高性能计算领域最热门的趋势.大数据往往是非结构化的大规模数据,这些庞大的数据集中蕴含着对企业极具价值的情报信息.而云计算在过去几年一直是IT世界的宠儿,因为云计算开创了计算作为服务的新时代,尽管人们对于云计算的安全.可用性和成本仍然存在疑虑. 大数据的规模似乎能够成为云计算有趣的合作伙伴.大规模数据的管理存在很高的复杂性,正因为如此,大数据分析通常在本地服务器集群中进行.而云计算的优势在于尽可能有效地优化现有资源.如果部署得当,你没有理由不结合

人工智能时代 云和大数据到底有多重要?

60年前的某个夏天,麦卡锡.明斯基等年轻的科学家们举办了一次聚会,共同研究用机器模拟智能的问题,也是在那时,"人工智能(AI)"的理念正式被提出.如今,人工智能已经应用于语音识别.图像处理器.计算机视觉.机器人等多个领域,甚至击败了围棋九段李世石,这种进步是难以置信的.而这一系列成绩的背后,是海量数据的积累与学习,在没有云的时代,是无法想象的. 人工智能时代 云和大数据到底有多重要?(图片来自The Huffington Post) 人工智能涉及的领域非常广泛,工业.航天.商业都有应用

第二届云计算大会暨大数据高峰论坛举办

本文讲的是第二届云计算大会暨大数据高峰论坛举办,2012年9月20日,北京.由IT商业新闻网.全国CIO/CTO俱乐部主办,<IT时代周刊>协办的"智在应用--第二届云计算大会暨大数据高峰论坛 "在新世纪日航饭店隆重举办. 本届论坛嘉宾云集,听众踊跃,云计算.大数据主题深入人心.来自官.产.学.研.媒.企业用户等不同领域近300位业界人士从四面八方涌入会场.工业和信息化部电子信息司巡视员胡燕.中国工程院院士倪光南.卫生部信息化工作领导小组办公室副主任高燕婕.国家电力监察委员

淘金大数据时代:大数据中的大价值

继云计算之后,"大数据时代"这一热词成为媒体争相追逐的焦点.那么,何为大数据,大数据价值几许?大数据时代又会给业界带来哪些机遇和挑战呢? 大数据时代悄然来临 不 是我不明白,这世界变化快12000年还是一张软盘打天下的时代,短短十多年光景,硬盘的存储容量已从4GB.16GB.32GB迅速攀升到 1TB.原来仅有1.44MB的软盘在当时感觉存储容量还是蛮大的,到现在硬盘容量蹿升至1TB了,反而感觉存储空间捉襟见肘,到底是哪里出现了问题? 大数据!一语惊醒梦中人,大数据时代已经悄然来临.随

云计算中的“大数据”

数据中心正在成为新时代的"信息电厂",成为知识经济的基础设施.过去一年,"大数据"正在成为一个热门话题.半个世纪信息技术的发展,主要解决的是云计算中"结构性"数据的存储.处理与应用."结构性"数据的特征有如你到银行去存取款,银行的计算机系统记录着你的名字,在名字之后是你存取款的数量.时间.类型等信息.这些数据的特征是"逻辑性强",每个"因"都有"果". 然而现实社会中