大数据时代的可扩展性数据库集群技术

ZDNet至顶网服务器频道 06月05日 新闻消息:信息系统的背后用于保存和处理最终结果的地方就是数据库。因此数据库系统就变得尤为重要,这意味着如果数据库如果面临问题,则意味着整个应用系统也会面临挑战,从而带来严重的损失和后果。目前在大数据趋势下,数据库面临如下的挑战:

当数据库性能遇到问题时,是否能够横向扩展,通过添加服务器的方式达到更高的吞吐量,从而充分利用现有的硬件实现更好的投资回报率。

是否拥有实时同步的副本,当数据库面临灾难时,可以短时间内通过故障转移的方式保证数据库的可用性。此外,当数据丢失或损坏时,能否通过所谓的实时副本(热备)实现数据的零损失。

数据库的横向扩展是否对应用程序透明,如果数据库的横向扩展需要应用程序端进行大量修改,则所带来的后果不仅仅是高昂的开发成本,同时也会带来很多潜在和非潜在的风险。

面对上述挑战一个显而易见的办法是将多个服务器组成一组集群,这样一来就可以充分利用每一台服务器的资源并将客户端负载分发到不同服务器上,随着应用程序负载的增加,只需要将新的服务器添加到集群即可。

数据库的集群和扩展不像应用程序扩展那样容易,因为从数据库端来说,一旦涉及到了集群,往往会涉及到数据库层面的同步,因此从是否存在数据冗余这个角度来讲,我们可以从大面上把数据库集群分为以下两种形式:

Share-Disk架构

Share-Disk架构是通过多个服务器节点共享一个存储来实现数据库集群。在此基础之上,Share-Disk架构又分为单活和双活,双活即为集群中的每一个节点都可以同时对外提供服务,而单活为集群中只有一个节点可对外提供服务,集群中的其他服务器作为冗余在活的节点出现故障时接替该服务器成为对外提供服务的节点。

这种方式的弊端也是显而易见的,如下:

硬件资源的严重浪费,同一时间集群中只有一台服务器活着,其他服务器只能作为冗余服务器。

集群无法提升性能,因为只有一台服务器可用。

存储方面存在单点故障,除非在存储层级保证高可用,通常需要昂贵的SAN存储。

因此该类方案仅仅可以做到服务器层面的高可用,无法带来性能的提升,也无法解决存储单点故障的问题。因此如果不搭配其他高可用或负载均衡的技术,存在的意义并不是很大。

另一类技术是Share-Disk中的双活的技术,与单活技术不同的是,双活的技术虽然也是共享磁盘,但集群中的所有节点都可以对外提供服务,典型的产品就是Oracle的RAC。RAC的技术性非常的高,因此需要水平比较高的人来运维系统。RAC设计的初衷并不是为了性能,而是为了高可用和可扩展性,如果应用程序不是针对RAC架构设计和开发的,则将应用程序迁移到RAC上会导致性能的急剧下降,并且节点越多性能下降越明显。

Share-Nothing架构

Share-Nothing架构又分为两种,首先是分布式架构。将数据库中的数据按照某一标准分布到多台机器中,查询或插入时按照条件查询或插入对应的分区。另一种是每一个节点完全独立,节点之间通过网络连接,通常是通过光钎等专用网络。

在Share-Nothing架构中,每一个节点都拥有自己的内存和存储,都保留数据的完整副本。通常来说,又可以分为两种,可以负载均衡和不可以负载均衡。

首先谈谈不可负载均衡的集群,在不可负载均衡的技术中,集群中的节点会被分为主节点和辅助节点,主节点向外提供服务,辅助节点作为热备(二阶段事务提交)或暖备(不需要保证事务同步),同时有可能使得辅助节点提供只读的服务。

这种架构带来的好处包括:

辅助节点数据和主节点保持同步或准同步,当搭配第三方仲裁后,可以实现自动的故障转移,从而实现了高可用。

辅助节点由于和主节点完全独立且数据同步或准同步,因此主节点出现数据损坏后,可以从辅助节点恢复数据(自动或手动)。

由于Share-Nothing架构使用了本地存储(或SAN),相较于Share-Disk架构在慢速网络时有非常大的性能优势。

当然,弊端也显而易见,因为辅助节点无法对外提供服务或只能提供只读服务,因此该类集群的弊端包括:

扩展能力非常有限。

对性能没有提升,因为涉及到各节点的数据同步,甚至带来性能的下降。

辅助节点如果可读,虽然提升性能,但需要修改前端应用程序,对应用程序不透明。

另一类Share-Nothing架构中,是允许负载均衡的。所谓负载均衡就是将对数据库的负载分布到集群中的多个节点上,在集群中的每一个节点都可以对外提供服务,从而达到更高的吞吐量,更好的资源利用率和更低的响应时间。前端通过代理进行调度。可负载均衡的Share-Nothing架构的好处是每台服务器都能提供服务,能充分利用现有资源,达到更高的吞吐量。这类方案集群中的每个节点都会对外提供服务,因此有如下好处:

由于每一个节点都可以对外提供服务,因此可以提升性能。

扩展性得到提升,可以通过向集群添加节点直接进行Scale-Out扩充。

由于前端应用通过代理连接到集群,而集群中的每一个节点都保持完整的数据集,因此对应用程序端完全透明。

但该类方案的弊端也显而易见,因为每一个节点都需要完整的数据集,因此需要占用更多的存储空间。

原文发布时间为: 2014年06月05日

本文作者:李祥敬

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-11-08 21:18:23

大数据时代的可扩展性数据库集群技术的相关文章

解析大数据时代的数据库集群技术

当今世界是一个信息化的世界,我们的生活中无论是生活.工作.学习都离不开信息系统的支撑.而信息系统的背后用于保存和处理最终结果的地方就是数据库.因此数据库系统就变得尤为重要,这意味着如果数据库如果面临问题,则意味着整个应用系统也会面临挑战,从而带来严重的损失和后果. 如今"大数据"这个词已经变得非常流行,虽然这个概念如何落地不得而知.但可以确定的是,随着物联网.移动应用的兴起,数据量相比过去会有几何级的提升,因此数据库所需要解决的问题不再仅仅是记录程序正确的处理结果,还需要解决如下挑战:

大数据时代下的数据库技术漫谈

简介 当今世界是一个大数据时代的信息化世界,我们的生活中无论是生活.工作.学习都离不开信息系统的支撑.而信息系统的背后用于保存和处理最终结果的地方就是数据库.因此数据库系统就变得尤为重要,这意味着如果数据库如果面临问题,则意味着整个应用系统也会面临挑战,从而带来严重的损失和后果. 如今"大数据时代"这个词已经变得非常流行,虽然这个概念如何落地不得而知.但可以确定的是,随着物联网.移动应用的兴起,数据量相比过去会有几何级的提升,因此数据库所需要解决的问题不再仅仅是记录程序正确的处理结果,

大数据时代的新型数据库 — 图数据库 Neo4j 的应用

概览 微云数聚(北京)科技有限公司是一家实力雄厚的大数据技术公司,由移动互联网技术专家团队.大数据专业团队和建模博士团队组成.微云数聚专注于研究图数据库技术及其应用,是世界领先的图数据库Neo4j在中国的战略合作伙伴和官方代理,他们研制的Neo4j简体中文扩展版,是专为中国企业量身打造.符合中国企业习惯的图数据库系统,除了提供简体中文界面,还支持节点显示成图片,显示效果由数据驱动:增加了智能查询,并且开发了简便导入Excel.MySQL和Oracle的工具--导入精灵,这些扩展将极大促进Neo4

大数据时代结构化存储云HBase技术架构及最佳实践

在10年,阿里研究HBase,是为了解决阿里容量及并发的实际问题,按照数据库要求,阿里深入HBase技术,并致力于保障稳定性和性能,目前已经有10000台规模,数百个集群,大约1亿的QPS,服务整个集团的业务.17年,把这部分能力也开放给公有云客户.本文中,阿里云高级专家封神带来了主题演讲<大数据时代结构化存储云HBase技术架构及最佳实践>,介绍HBase的应用选择.实战案例.技术平台解读以及后续的规划. 为什么应用HBase 一般而言,传统关系型数据库面临着成本.容量.QPS.分析等多方面

数据库老兵:大数据时代NoSQL不是颠覆性技术

数年前,当人们谈论起新兴的NoSQL数据库技术时,相当一部分观点认为NoSQL在大数据市场取代传统关系型数据库只是个时间问题.如今,这一预言并未兑现,Mitchell Kertzman的总经理Hummer Winblad认为,大多数情况下,NoSQL都没有展现出所谓的革命性. 作为数据库的老兵,以下是Kertzman在本周的视频访谈的一些观点摘录: 人们需要的其实还是SQL 如果云端的SQL数据库有足够的弹性和可扩展性,能处理所需要的数据量,那么人们永远都不会需要NoSQL. 看衰NoSQL的H

大数据时代企业所需的三大技术

作为IT领域的关键词,"大数据"不断被大书特书,对其分析利用也备受关注.另一方面,靠IT技术.现有的组织和人才技能解决不了的难题也渐渐浮出水面.这就需要"分析数据及其与业务相结合的技术". 本文总结了将数据分析应用到业务中所需的技术,以及怎样在企业中实现有效的信息应用.同时,还列举了日本国内外的先进事例. 三大技术 下面,我们来看一下大数据时代企业所需的技术有哪些? 业务技能 这里的业务技能不是指提高业绩的能力,而是指将业务过程标准化.掌握各个过程中哪些信息需要输入

大数据时代隐私咋保护 专家:技术、立法和管理

核心提示 "大数据"时代下,人们在享受大数据带来便捷的同时,数据泄露事件,数据安全.公民的隐私权保护问题成为大数据时代的最大隐忧. 在"第二届中国大数据安全高层论坛"."数据安全与个人隐私保护论坛"."中国智慧城市数据安全与产业合作高峰论坛"."第一届大数据科学与工程国际会议--大数据安全论坛"上,嘉宾们就大数据时代维护数据安全,减少个人隐私数据泄露支招. 现象 数据泄露事件 身边就有不少 市民张先生最近正

大数据时代,云计算如何为仿真技术插上“翅膀”

2017年7月7日,"2017年度国产工业软件优秀解决方案展示对接会--大连专场"在大连世博广场召开.在会上,由英特仿真和华为公司合作建立的"工业仿真云平台"正式上线,这是中国第一个仿真云平台."工业仿真云平台"已初步计划在辽宁.江苏.山东.天津.湖北五省市与华为共同推广,而后再向全国其他地区辐射. 前<连线>杂志主编克里斯•安德森曾经说过:"数字革命已经进入了真实世界的核心部分,而且可能已经产生了最深远的影响."

国产新型数据库:大数据时代的创新机遇

文章讲的是国产新型数据库:大数据时代的创新机遇,三十年数据库的发展和形成的以Oracle.IBM.Microsoft等为代表的强势垄断格局,使得传统国产数据库不仅生不逢时,加上技术上采取跟随战略.在事务处理领域顽强拼杀,虽然产品不断进步.市场应用也不断取得单点突破,但大多处于非核心应用.尽管政府给予了持续的大力支持,但在垄断壁垒和开源软件左右夹击下,除了政策性市场之外,很难取得规模化突破,尚未形成企业发展良性循环和政府支持的双赢局面. 大数据时代的到来,使得传统数据库在处理百TB以上.特别是PB