Amoeba:开源的分布式数据库Porxy解决方案

基于此可以实现负载均衡、读写分离、高可用性等需求。与MySQL官方的MySQL Proxy相比,作者强调的是amoeba配置的方便(基于XML的配置文件,用SQLJEP语法书写规则,比基于lua脚本的MySQL Proxy简单)。
Amoeba相当于一个SQL请求的路由器,目的是为负载均衡、读写分离、高可用性提供机制,而不是完全实现它们。用户需要结合使用MySQL的 Replication等机制来实现副本同步等功能。amoeba对底层数据库连接管理和路由实现也采用了可插拨的机制,第三方可以开发更高级的策略类来替代作者的实现。这个程序总体上比较符合KISS原则的思想。

 

什么是Amoeba?

 

Amoeba(变形虫)项目,该开源框架于2008年 开始发布一款 Amoeba for Mysql软件。这个软件致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的 时候充当SQL路由功能,专注于分布式数据库代理层(Database Proxy)开发。座落与 Client、DB Server(s)之间,对客户端透明。具有负载均衡、高可用性、SQL 过滤、读写分离、可路由相关的到目标数据库、可并发请求多台数据库合并结果。 通过Amoeba你能够完成多数据源的高可用、负载均衡、数据切片的功能,目前Amoeba已在很多 企业的生产线上面使用。主要解决:

 

  • 降低 数据切分带来的复杂多数据库结构
  • 提供切分规则并降低 数据切分规则 给应用带来的影响
  • 降低 db 与客户端的连接数
  • 读写分离

 

为什么要使用Amoeba

 

随着传统的数据库技术日趋成熟、计算机网络技术的飞速发展和应用范围的扩充,数据库应用 已经普遍建立于计算机网络之上。这时集中式数据库系统表现出它的不足:集中式处理,势必造成性 能瓶颈;应用程序集中在一台计算机上运行,一旦该计算机发生故障,则整个系统受到影响,可靠性 不高;集中式处理引起系统的规模和配置都不够灵活,系统的可扩充性差。在这种形势下,集中式数 据库将向分布式数据库发展。而Amoeba的透明、简易配置及多个优点使其成为分布式数据库代理产品中的优秀选择。

 

分布式数据库代理的相关概念

 

Amoeba在分布式数据库领域将致力解决数据切分,应付客户端“集中式”处理分布式数据。这里集中式是一个相对概念,客户端不需要知道某种数据的物理存储地。避免这种逻辑出现在业务端, 大大简化了客户端操作分布式数据的复杂程度。分布式数据库系统的优点:

 

  • 降低费用。分布式数据库在地理上可以式分布的。其系统的结构符合这种分布的要求。允许用 户在自己的本地录用、查询、维护等操作,实行局部控制,降低通信代价,避免集中式需要更高要求 的硬件设备。而且分布式数据库在单台机器上面数据量较少,其响应速度明显提升。
  • 提高系统整体可用性。避免了因为单台数据库的故障而造成全部瘫痪的后果。
  • 易于扩展处理能力和系统规模。分布式数据库系统的结构可以很容易地扩展系统,在分布式数 据库中增加一个新的节点,不影响现有系统的正常运行。这种方式比扩大集中式系统要灵活经济。在 集中式系统中扩大系统和系统升级,由于有硬件不兼容和软件改变困难等缺点,升级的代价常常是昂贵和不可行的。

 

Amoeba相关产品及其介绍

 

1、Amoeba for MySQL

 

Amoeba for MySQL致力于MySQL的分布式数据库前端代理层,它主要在应用层访问MySQL的时候充当query 路由功能,专注分布式数据库proxy开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、Query过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。 在Amoeba上面你能够完成多数据源的高可用、负载均衡、数据切片的功能。目前在很多企业的生产线上面使用。Amoeba for mysql对客户端程序来说,它是一个虚拟的mysql,对外提供mysql协议。客户端连接amoeba就象连接mysql一样。在amoeba内部需要配置相关的认证属性。

 

 

2、Amoeba for Aladdin

 

与Amoeba for MySQL 类似,客户端连接Aladdin必须用MySQL 协议,之所以用MySQL协议,主要是想借助mysql使用的广泛程度以及对各种开发语言的支持。Aladdin后端可以同时连接各种数据库。只要这些数据库提供jdbc驱动。aladdin的出现可以解决企业在数据库整合上面提供积极的帮助。使用者不需要知道后端到底使用了什么类型的数据库、数据库的物理地址什么,这些由aladdin来分析sql语句,并且获得相应的要查询的表跟条件,然后由这些规则结合这些条件进行路由到相关的物理数据库。

 

 

3、Amoeba for MongoDB

 

随着NoSQL的日益兴起,mongoDB作为一款nosql数据库以其优异的性能得到了广泛的关注。可以说,mongoDB填补了传统关系型数据库以及传统键值型数据库的空白,并且兼具两者优秀特质。Amoeba for MongoDB将提供与Amoeba for MySQL类似的,完全自主、可控的切分方式、并尝试完成同样的auto sharding的功能。 基于Amoeba框架,跟以往的产品一样具备心跳检测、负载均衡、故障转移、查询聚合等功能,保留了之前的配置方式,只要熟悉amoeba其中一款产品的配置,那么上手将非常容易的。

 

比较Amoeba及其类似产品

 

1、Amoeba for Mysql 与MySQL Proxy比较

 

在MySQL proxy 6.0版本 上面如果想要读写分离并且 读集群、写集群 机器比较多情况下,用mysql proxy 需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件, lua脚本就是它的全部,当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一 个复杂的配置。而Amoeba for Mysql只需要进行相关的配置就可以满足需求。

 

2、Amoeba for mongoDB与mongos比较

 

mongodb中的数据切分有一个chunk的概念,每个chunk代表一个数据段(range),当一个chunk的大小到达了指定的数据大小,就会自动切分成两个。 Mongos是根据数据段(chunk)进行切分的,且切分依据的字段必须是一个key。而目前大多的应用中,id(尤其是用户ID)是无序化的,可能有些用户是手机号、有些是会员卡号等等。这使得proxy的range切分难以实施。 因此,虽然mongodb的mongos提供了automatic sharding的功能,但由于数据切分的不可控,常常不能满足我们的需要。 Amoeba for MongoDB提供完全自主、可控的切分方式。

 

Amoeba不能做什么?

 

  • 目前还不支持事务
  • 暂时不支持存储过程(近期会支持)
  • 不适合从amoeba导数据的场景或者对大数据量查询的query并不合适(比如一次请求返回10w以上甚至更多数据的场合)
  • 暂时不支持分库分表,amoeba目前只做到分数据库实例,每个被切分的节点需要保持库表结构一致

 

Amoeba的架构

 

Amoeba 作为DataBase Proxy的开发框架。致力于解决数据切分、读写分离。以下将为您介绍Amoeba 框架

 

  • Built on Java NIO
    • NIO 框架采用无阻塞模式,不像传统的Socket编程在大量并发的情况非常浪费系统资源、而且可扩展性也较差
  • Reusable Server Connection
    • Amoeba 提供与数据库连接的可重用度非常高,在Amoeba系统内所有Database Connection同时共享给所有连接到Amoeba的客户端
  • 提供读写分离、数据切分
    • 传统的读写分离技术需要通过客户端或者相关的Database Driver技术才能解决,而且客户端的配置也比较复杂
    • 单台Database 性能总是有限制的,基于Amoeba上面可以寻找一种可线性扩展的多数据支持。Amoeba为DBA提供一种非常友好的类似SQL语法的数据切分规则。
      同时客户端不用担心过多的DataBase Server会给应用带来更多的配置。
  • 支持高可用性、负责均衡
    • Amoeba 提供Database 连接的异常检测与连接恢复功能。
    • 用户可节省使用其他昂贵的负载均衡的硬件设备,Amoeba提供多台Database Server负载均衡策略(轮询、当前活动连接数量)。
  • Amoeba Sequence

 

时间: 2024-10-27 19:58:07

Amoeba:开源的分布式数据库Porxy解决方案的相关文章

云计算的时代,出现分布式存储和分布式数据库的解决方案

数据存储主要有两种方式:Database和FileSystem,后面发展出了Object-oriented storage,但是总的来看就是存储结构化和非结构化数据两种. DB开始是为了结构化数据存储和共享而服务的.FileSystem存储和共享的是大文件,非结构的数据,像图片,文档,影音等.随着数据量的增大,单机存储已经不能满足结构化和非结构化数据的需求,那么在云计算的时代,就出现了分布式存储和分布式数据库的解决方案. 1,File System, Object-oriented storag

去IOE的又一利器,PingCAP打算创造一款更适合云计算的分布式数据库

1978年 左右,数据库刚刚发展时出现了SQL RDBMS.2000年 左右,国内开始流行互联网,互联网对 Oracle 数据库也产生了较大的冲击.现在,传统的数据库大部分集中在传统领域;在互联网行业 MySQL ,HBase 吸引了大量的用户.但许多DBA在工作期间一直受到分布式数据库的困扰,找不到一个既能水平扩展又能保证分布式事务的数据库,然而成立于 2015年6月 的PingCAP打算基于开源项目 TiDB 解决这个问题. TiDB 是开源的分布式数据库,参考 Google F1/Span

什么是面向列开源分布式数据库Hbase - 产品和技术

什么是面向列开源分布式数据库Hbase 发布时间:2012.04.16 14:41      来源:和讯     作者:和讯 HBase是一个分布式的.面向列的开源数据库,由Apache基金会开发.HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.它基于列的而不是基于行的模式.用户存储数据行在一个表里.一个数据行拥有一个可选择的键和任意数量的列.用户可根据键访问行,以及对于一系列的行进行扫描和过滤.HBase一个可以横向扩张的表存储系统,能够为大规模数据提供速度极快的低等

求指点:这种分布式数据库应用,哪种解决方案比较好

问题描述 求指点:这种分布式数据库应用,哪种解决方案比较好 有一个全局数据库(A)和多个局部数据库(B1....Bn). A有自已的局部数据,同时要有B1...Bn所产生的所有局部数据,B1...Bn都只有各自局部产生的数据. A和B1....Bn都会产生一定量的全局性数据,全局性数据集合要向全网适时发布共享,主要提供查询功能. 只在持久层解决,数据同步过程对业务层透明,最好的解决方案是什么呢? 初步考虑在A建立B1...Bn的slave库,B1...Bn向各自的slave库进行复制,在A和B1

2017双11技术揭秘—X-DB支撑双11进入分布式数据库时代

作者:章颖强(江疑).胡炜 X-DB 1.0(X-Cluster)是阿里自主研发的,100%兼容MySQL生态的,全球级分布式强一致的关系型数据库系统.今年双11是X-DB的第一次大考,本次双11X-DB服务于天猫/淘宝核心交易系统.核心物流系统.核心IM系统,经受了零点业务32.5万笔/秒峰值的性能考验(对应数据库峰值每秒破亿次的SQL调用):同时X-DB支撑起了新一代单元化架构,在分布式一致性算法Paxos的统一框架下,第一次提供了跨Region分布式强一致能力,实现高效的跨Region数据

传统应用层逻辑分库DB迁移阿里云DRDS+RDS分布式数据库

随着互联网快速发展,我们的结构化关系数据库在高并发.海量数据的情况下面临单机扩展性问题,首先是单机数据库容量瓶颈,单机数据库在业务高速增长的情况下依赖硬件升级也会到达天花板,并且使用成本变得非常高,而且扩展性的复杂性也是比较高,传统数据库扩容往往意味着服务中断,很难做到业务无感知或者少感知.     通过数据水平切换来现实分库可以帮助提升数据库整体性能.横向扩展性,切分后有效的降低了单台机器的访问负载,同时最大限度的降低了数据库服务节点宕机后的损失.      传统应用业务层逻辑或组件分库实现方

分布式数据库——从线性扩展谈分布式JOIN

在首届阿里巴巴中间件峰会上,来自阿里巴巴DRDS团队的梦实分享了<分布式数据库--从线性扩展谈分布式JOIN>.他主要从OLTP数据库的线性扩展.水平扩容.IN查询.分布式JOIN四个方面进行了分享.在分享中,他主要通过买家与订单场景.家庭与孩子场景介绍了IN查询,通过同维度的JOIN.广播表的JOIN.Nested Loop Join详细介绍了分布式JOIN的坑与填坑.   以下内容根据直播视频整理而成.   在数据库的使用过程中,我们难免会问到这样的问题,为什么分库分表?答案是为了达到线性

数据库进程间通信解决方案

数据库进程间通信解决方案 数据库与其他第三方应用程序进程间通信解决方案 Mr. Neo Chen (netkiller), 陈景峰(BG7NYT) 中国广东省深圳市龙华新区民治街道溪山美地518131+86 13113668890+86 755 29812080<netkiller@msn.com> $Id: MySQL-plugin.xml 587 2013-12-16 14:00:00Z netkiller $ 版权 2011, 2012, 2013 http://netkiller.gi

利用C#实现分布式数据库查询

分布式|数据|数据库 随着传统的数据库.计算机网络和数字通信技术的飞速发展,以数据分布存储和分布处理为主要特征的分布式数据库系统的研究和开发越来越受到人们的关注.但由于其开发较为复杂,在一定程度上制约了它的发展.基于此,本文提出了在.Net环境下使用一种新的开发语言C#结合ADO.Net数据访问模型来开发分布式数据库系统,大大简化了开发过程. 1 分布式数据库系统 就其本质而言,分布式数据库系统的数据在逻辑上是统一的,而在物理上却是分散的.与集中式数据库相比它有如下主要优点: · 解决组织机构分