Hadoop和大数据两个世界是合并还是冲突?

  在数据库格式领域将会发生一场战争吗?Hadoop和大数据这两个世界在企业界会合并还是冲突?就在Janath Manohararaj以蓝十字蓝盾协会(Blue Cross and Blue Shield Assoc.:美国第一大私人健康">保险公司集团----译者注)数据库服务团队负责人的身份作客SiliconANGLE的流动新闻平台CUBE之前,他与CUBE的搭档主持人John Furrier和Dave Vellante在幕后提及了这些问题。这些热门话题充分激起了Manohararaj的兴趣,也开启了他在惠普Vertica大会的现场访谈。

  谈及数据库以及深入探讨Hadoop的现状时,Manohararaj提醒电视观众在发展初期只存在关系数据库,大数据是如此的新颖以至于它属于市场中截然不同的阵营。就蓝十字蓝盾协会所涉及到的而言,这家健康保险供应商未看到数据库与大数据冲突的风险。恰恰相反,它预感到两个事物正在向着数据管理的目的而相互融合。

  Vellante想探寻这家公司历史上是如何使用数据的。Manohararaj提到以前处理数据的老方法是每个项目都有其自己的数据仓库,由于数据的重复而导致其拥有成本非常高昂。与之相反的是,Hadoop将事情变得更加容易,带来了成本下降而性能提升。

  回忆起他的公司意识到到Hadoop潜力时的那个兴奋时刻,Manohararaj承认最初在2008年蓝十字蓝盾协会就通过将Vertica引入系统而进行预数据库的配置。Manohararaj的团队立马就观察到性能的提升,比以前的速度快了十倍。

  “第一步是从传统的DBMS(数据库管理系统----译者注)转移到以列为基础的数据模式。现在我们正在考虑创建一个数据湖泊(Data Lake)---- 一个统一标准的数据仓库” Manohararaj确认到。

  平衡创新与遵循

  关于医疗保健行业,Furrier想更多的了解蓝十字蓝盾是通过什么样的方式平衡创新需求与遵循行业规则的要求的。“就医疗保健而言”,Manohararaj解释到,“信息需要是即刻的,而这在以前是个问题。Vertica是我们应用过的最好的数据库之一。”

  “Vertica就是工业界的法拉利,”Furrier也赞同这一点,并追问Manohararaj要其解释什么造就了Vertica如此的成功。Manohararaj列出了三个关键因素:

  1. 性能;

  2. 低成本;

  3. 非常棒的支持(主动型服务,调用 (call) 和回调功能( (call backs) )

  开源与供应商分布

  Manohararaj访谈中讨论的最后一个议题关注了企业大数据商业化这个兴起的进程,而这也是另外一种冲突正在发生的领域。

  “你是在使用供应商分布软件还是开源的Apache Hadoop”Vellante问到,他很好奇企业是如何应对这两种销售大数据解决方案的截然不同的方法的。Manohararaj透漏这项工作正在进行当中,他们正在逐步向开源靠近:“开源总是一种挑战,学习曲线总是很陡峭的,而且你需要培训。而拥有专属解决方案,就要容易很多。”

时间: 2024-09-19 13:28:57

Hadoop和大数据两个世界是合并还是冲突?的相关文章

基于Hadoop的大数据企业前十大集合

超人气Hadoop初创公司前两名 这已经不再是什么秘密了,全球的数据正在以几何数字增长,借助这股数据浪潮在全球范围内迅速成长起来一大批Hadoop的初创型公司.作为Apache的一个开源分支Hadoop几乎已经成为了大数据的代言词.据Gartner估计,目前的Hadoop生态系统市场价值大约为77,000,000: 该研究公司预计,这一数字到2016年将迅速增加到8.13亿美元. 在Hadoop市场快速发展的大环境下,出现了大量的初创型企业来分这将近十亿美元的大馅饼. 1.Platfora 他们

2012 Hadoop与大数据技术大会盛大开幕

摘要:11月30日-12月1日,中国IT界技术盛会--Hadoop与大数据技术大会(HBTC 2012)在北京新云南皇冠假日酒店隆重开幕.大会以"大数据共享与开放技术"为主题,设定"Hadoop生态系统"."大数据行业应用"."大数据共享平台与应用"."NoSQL与NewSQL"以及"大数据的技术挑战与发展趋势"五个分论坛. 2012年11月30日-12月1日,中国IT界技术盛会--Ha

《Hadoop海量数据处理:技术详解与项目实战》一1.2 Hadoop和大数据

1.2 Hadoop和大数据 Hadoop海量数据处理:技术详解与项目实战 在人们对云计算这个词汇耳熟能详之后,大数据这个词汇又在最短时间内进入大众视野.云计算对于普通人来说就像云一样,一直没有机会能够真正感受到,而大数据则更加实际,是确确实实能够改变人们生活的事物.Hadoop从某个方面来说,与大数据结合得更加紧密,它就是为大数据而生的. 1.2.1 大数据的定义 "大数据"(big data),一个看似通俗直白.简单朴实的名词,却无疑成为了时下IT界最炙手可热的名词,在全球引领了新

零售业如何用Hadoop开启大数据之门?

文章讲的是零售业如何用Hadoop开启大数据之门,在过去几年,全球零售商一直试图利用大数据创造价值.由于其大数据分析基础架构的限制,许多工作被一再推迟.Hadoop为这些零售商打开了新的大门,它可以解决他们在过去几年在大数据领域面临的许多问题和挑战. Hadoop:跨多门编程语言的大数据解决方案 Hadoop背后的技术最初是由Google大约在10年前开发的.核心代码主要是用Java编写的,但有一些是用C编写的.然而,它运行在一个称为MapReduce的编程模型中,这允许开发人员用其他语言创建新

SQL Server+Hadoop 变身大数据解决方案

文章讲的是SQL Server+Hadoop 变身大数据解决方案,在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为

大数据商业革命 世界将以你为中心

什么是大数据? <自然>杂志在2008年9月推出了名为"大数据"的封面专栏,讲述了数据在数学.物理.生物.工程及社会经济等多学科扮演的愈加重要的角色,如今这个词变成了商业世界中的新宠.我们认为,大数据具有规模大.价值高.交叉复用.全息可见四大特征.特别是,最后两个特征体现了大数据不仅仅有"规模更大的数据"量上的进步,还具有不同于以前数据组织和应用形式的质的飞跃. 数十年来,信息产生.组织和流通方式革命性的变化,其中个人用户第一次成为信息产生和流通的主体.

Hadoop与大数据不脱轨的十大秘诀

世界各地企业如今都在使用云服务,实施大数据分析驱动生态系统,对于IT经理和C级高管而言,保持进步是非常重要的.跟不上发展的速度,意味着失去客户的风险.它是企业生态链最基本的法则:适应还是被吃掉.IT系统帮助企业分析存储系统收集的数据,这非常有利的.但这是说起来容易做起来难,因为建立一个新系统或改造旧系统有很多事情需要考虑.管理层要求系统运行在最佳性能以获得投资正回报.以下是大数据/Hadoop项目10大不脱轨秘诀. 弄清楚你试图解决的问题 如果你不知道你想用它做什么,就不要使用你的数据.有了这样

Hadoop处理大数据的梦想与现实

可以说,Hadoop的出现是计算技术发展进程中一个重要的里程碑,它使实用的大规模分布式计算和存储成为可能.因此,有专家评论,Hadoop是到目前为止最为成功的通用分布式处理框架,也是这些年来影响最为深远的系统性开源项目之一. IDC发布的Hadoop软件生态系统预测报告显示,Hadoop市场正在以60%的年复合增长率高速扩张.Gartner也估计,2014年,Hadoop生态系统市场规模在7700万美元左右,2016年,该市场规模将快速增长至8.13亿美元. 另外,Allied Market R

企业使用Hadoop处理大数据的诀窍

作为大数据技术的典范,Hadoop一直为采用大数据的企业祝福并诅咒着.Hadoop功能强大,却非常复杂,这使得很多企业都宁愿等待更容易的东西问世,再推出大数据项目. 等待已经结束.Hadoop在稳步前进,来自诸如Hortonworks和Cloudera等厂商显着的易用性增强,使得Hadoop的学习曲线已经减少了一半.企业正越来越多拥抱大数据和Hadoop,目的是从基本的ETL工作负载迁移到先进的数据分析. 但更多人不知道的是,企业使用Hadoop处理大数据的诀窍,其实就是从小处着手. 采用Had