数据库一体机与大数据技术区别何在?

作为近期信息管理领域最为热门的两项技术,数据库一体机与大数据技术的硬件架构基本相同,但软件体系有着本质的区别,这也导致了两者拥有不同的特征表现。

随着企业数据量的快速增长,以及用户对服务水平要求的不断提高,相当长的一段时间以来,传统关系数据库 技术在生产实践中表现出明显的能力不足。如何以合理的成本获得海量数据的高可用性已经成为现代IT领域的重大挑战。为了应对这一挑战,近年来,IT市场中 相继出现了许多新的技术手段,其中最为引人注目的便是由主流数据库厂商主导的数据库一体机(例如Oracle ExaData以及IBM Netezza等),以及以开源力量为主的大数据技术。

不过,虽然数据库一体机与大数据技术都是当今的热门话题,并都已经被广泛应用,但却有相当一部分用户仍 然无法深入了解两者之间的本质区别与关系。同时,很多用户也在为如何在企业内部对这两者进行正确定位而感到困惑。为此,本文特别对数据库一体机(也可称新 一代主流关系型数据库)和大数据技术(例如Hadoop,主要指MapReduce与NoSQL)的相关技术特点进行对比。

硬件与软件

从本质上来讲,数据库一体机与大数据技术的硬件架构基本相同,同样是采用x86服务器集群的分布式并行 模式,以应对大规模的数据与计算。但是,数据库一体机的卖家们通常会对其产品的硬件体系进行面向产品化的、系统性的整体调优,同时也会有各自的特色手段。 比方说Oracle ExaData的Infiniband、Flash Cache,IBM Nettezza的FPGA(现场可编程逻辑门阵)等。

数据库一体机与大数据技术最为核心的区别是在软件体系上。数据库一体机的核心是SQL体系,这不只是指SQL解析,更重要的是指包括SQL优化引擎、索引、锁、事务、日志、安全以及管理等在内的完整而庞大的技术体系。这一体系是成熟的、面向产品的。

大数据技术软件体系中的MapReduce则提供了一个面向海量数据处理的分布式编程框架,使用者需要 自行编制所需要的计算逻辑。MapReduce对数据的读写是批量连续的,而不是随机的。而大数据技术的另一体系NoSQL则大都只是提供了海量数据的分 布式存储,以及基于索引的快速读取机制,为使用者提供的大多是编程API(虽然也有类SQL的语言,但其本质并不是完整的SQL体系)。

由于SQL体系的复杂性与处理逻辑的整体关联性,导致数据库一体机在扩展性上远不及大数据技术体系,虽 然前者已经在很大程度上改善了传统关系数据库垂直扩展的瓶颈。MapReduce与NoSQL的单个集群往往可以扩展到数千个节点,而数据库一体机如果在 硬件上扩展到这个规模,从软件上来讲,已经是没有意义的了。

特征与本质

基于软件体系的不同,导致了数据库一体机和大数据技术有着不同的特征表现。数据库一体机往往适合于存储关系复杂的数据模型(例如企业核心业务数据),并且需要限制为基于二维表的关系模型。同时,数据库一体机适合进行一致性与事务性要求高的计算,以及复杂的BI计算。

大数据技术则更适合于存储较简单的数据模型,并且可以不受模式的约束。因而其可存储管理的数据类型更加 丰富。大数据技术还适合进行一致性与事务性要求不高的计算(主要是指NoSQL的查询操作),以及对超大规模海量数据的、批量的分布式并行计算(基于 MapReduce)。

需要注意的是,NoSQL数据库由于摆脱了繁琐的SQL体系约束,其查询与插入的效率比数据库一体机更高。大数据技术比数据库一体机所能处理的数据量也相对大些,这主要是因为其集群可以扩展得更大。

从本质上讲,MapReduce是对海量数据分布式计算领域的一个重要创新,但也只是在适合于并行处理 的大规模批量处理问题上更占优势,而对一些复杂操作,则不一定具有优势。NoSQL则可以看作是对传统关系数据库进行简化的结果。由于NoSQL数据库的 设计思想只是提取出关系型数据库的索引机制,并加了上分布式存储,把SQL体系中那些对“某些特殊问题”而言并不需要的东西统统删去,由此实现了更优秀的 效率、扩展性与灵活性。

因此,我们可以明显地看到,在实践中,有很多问题(特别是流行的大数据问题),关系数据库中的许多设计并不需要,这才是NoSQL发展壮大的根本立足点。

关系与协作

通过前面的分析,我们不难得出这样的结论:大数据技术与数据库一体机应该是相辅相成,并非互相替代的。它们针对不同的应用场景设计,并相互补充与合作。具体来说,大数据技术可以实现:

■处理企业内海量的、模型简单、类型多样的非结构化与半结构化数据(例如社会化数据、各种日志甚至图片、视频等),其处理结果可以被直接使用;

■以上处理结果也同时可以被当成是新的输入存储到企业级数据仓库中,这时大数据机相当于是面向大数据源的、新的ETL(提取-转换-加载)手段;

■面向海量数据的、不太适合SQL的存储或计算。

而数据库一体机则应该还是作为企业数据仓库的主流技术,至少在很长一段时间内应该是这样。它负责存储与计算最主要的、有重大价值的企业关键业务数据。

现存的误区

有些人认为,虽然大数据技术的原始开源状态还不适合充当企业级数据仓库主平台的要求,但经过开发、补充,应该是可以的。其实这个观点没有错。但实际上,对开源的大数据技术进行补充开发,所要补充的正是大数据技术在原始设计上就去除了的、那些本属于关系型数据库体系的东西。

如果进行这样的补充开发,企业不仅会面临庞大的、难于估计的开发工作量,同时也难以像专业数据库厂商那 样实现这些工作的理论化、产品化与体系化。虽然从纯技术的角度上讲,开发什么都有可能。但是如果企业真的准备这样做,是要开发另一个商业化的关系数据库 吗?很明显,这违背了大数据技术的设计初衷。

(责任编辑:蒙遗善)

时间: 2024-12-03 00:37:26

数据库一体机与大数据技术区别何在?的相关文章

开源大数据技术专场(上午):Spark、HBase、JStorm应用与实践

16日上午9点,2016云栖大会"开源大数据技术专场" (全天)在阿里云技术专家封神的主持下开启.通过封神了解到,在上午的专场中,阿里云高级技术专家无谓.阿里云技术专家封神.阿里巴巴中间件技术部高级技术专家天梧.阿里巴巴中间件技术部资深技术专家纪君祥将给大家带来Hadoop.Spark.HBase.JStorm Turbo等内容. 无谓:Hadoop过去现在未来,从阿里云梯到E-MapReduce 阿里云高级技术专家 无谓  从开辟大数据先河至现在,风雨十年,Hadoop已成为企业的通

大数据技术 未来发展前景及趋势分析

文章讲的是大数据技术 未来发展前景及趋势分析,在过去几年里,大数据技术已得到广泛关注.在这一领域,有几个趋势和创新正悄然发生.本文整理了您目前正在使用或未来将要使用的大数据的新趋势和变化. 流大数据分析 · Storm: Apache Storm是一种开源的分布式实时计算系统.Storm加速了流数据处理的过程,为Hadoop批处理提供实时数据处理. · Spark: Spark是一个兼容Hadoop数据源的内存数据处理平台,运行速度相比于Hadoop MapReduce更快.Spark适合机器学

媒体该如何应对“大数据”技术?

2011年,西方有关"大数据"(big data)的理论像旋风一样席卷知识界,大数据的学术讨论接连不断.媒体火热的爆炒,各种危言耸听的结论,充满种种迷思,谷歌上竟有13多亿条这方面的报道和言论.我国IT业和新闻界也开展了探讨,并发表多篇文章,西方的"数据驱动新闻"(data-driven journalism)."数据决定话语自由"(allowing the data to speak freely)的说法在国内流行起来.许多文章声称,媒体如不谙

大数据技术在发展 挑战与机遇并存

大数据技术是在传统数据处理手段无法应对海量数据的实时需求的情况下,采用新的信息技术来应对大数据爆发进行数据处理的技术.大数据技术一般可以包括基础架构支持.数据采集.数据存储.数据计算和数据展现交互等. 大数据技术的分类 大数据技术涵盖的范围十分广阔.基础架构支持方面主要包括了支撑大数据处理的基础架构级数据中心管理.云计算平台.云存储设备及技术.网络技术.资源监控等技术.而为了处理数据,则需要有大规模物理资源的云数据中心和具备高效的调度管理功能的云计算平台的支撑. 数据采集技术方面包含了数据采集的

【资料合集】在线大数据技术峰会:讲义PDF+活动视频!

回顾大数据技术领域大事件,最早可追溯到2006年Hadoop的正式启动,而环顾四下,围绕着数据库及数据处理引擎,业内充斥着各种各样的大数据技术.这是个技术人的好时代,仅数据库领域热门DB就有300+,围绕着Hadoop生态圈的大数据处理技术更是繁花似锦.然而着眼当下,大数据在行业内的实际落地仍然不是件简单的事情,大数据创业成功的案例更是少之又少. 1. MaxCompute 2.0 性能优化揭秘 演讲视频:http://yq.aliyun.com/webinar/play/188 PDF下载:h

《Spark大数据分析:核心概念、技术及实践》大数据技术一览

本节书摘来自华章出版社<Spark大数据分析:核心概念.技术及实践>一书中的第1章,第1节,作者穆罕默德·古勒(Mohammed Guller)更多章节内容可以访问"华章计算机"公众号查看. 大数据技术一览 我们正处在大数据时代.数据不仅是任何组织的命脉,而且在指数级增长.今天所产生的数据比过去几年所产生的数据大好几个数量级.挑战在于如何从数据中获取商业价值.这就是大数据相关技术想要解决的问题.因此,大数据已成为过去几年最热门的技术趋势之一.一些非常活跃的开源项目都与大数据

大数据技术公司百分点今日宣布完成第二轮1000万美元融资

摘要: 新浪科技讯 7月25日下午消息,大数据技术公司百分点今日宣布完成第二轮1000万美元融资,投资方为东方星空创投和IDG资本,百分点同时发布新战略,由提供大数据技术进入到大数据管 新浪科技讯 7月25日下午消息,大数据技术公司百分点今日宣布完成第二轮1000万美元融资,投资方为东方星空创投和IDG资本,百分点同时发布新战略,由提供大数据技术进入到大数据管理与应用领域. 成立4年的百分点一直从事于大数据技术的创新,2011年7月获得IDG资本和名信中国成长基金720万美元的投资,百分点创始人

仁人帮探索大数据技术

前两期小帮为大家介绍了仁人帮的大数据定义与大数据在仁人帮后台的应用.今天也不跟大家卖关子了,接下来,小帮为大家奉上的是大数据平台技术的探索. 大数据技术,小帮认为可以分成两个大的层面,大数据平台技术与大数据应用技术.要使用大数据,你先必须有计算能力,大数据平台技术包括了数据的采集,存储,流转,加工所需要的底层技术,如hadoop生态圈,数加生态圈. 数据的应用技术是指对数据进行加工,把数据转化成商业价值的技术,如算法,以及由算法衍生出来的模型,引擎,接口,产品等等.这些数据加工的底层平台,包括平

除Hadoop大数据技术外,还需了解的九大技术

除Hadoop外的9个大数据技术: 1.Apache Flink 2.Apache Samza 3.Google Cloud Data Flow 4.StreamSets 5.Tensor Flow 6.Apache NiFi 7.Druid 8.LinkedIn WhereHows 9.Microsoft Cognitive Services Hadoop是大数据领域最流行的技术,但并非唯一.还有很多其他技术可用于解决大数据问题.除了Apache Hadoop外,另外9个大数据技术也是必须要了