ZooKeeper 笔记(3) 实战应用之【统一配置管理】

大型应用通常会按业务拆分成一个个业务子系统,这些大大小小的子应用,往往会使用一些公用的资源,比如:需要文件上传、下载时,各子应用都会访问公用的Ftp服务器。如果把Ftp Server的连接IP、端口号、用户名、密码等信息,配置在各子应用中,然后这些子应用再部署到服务器集群中的N台Server上,突然有一天,Ftp服务器要换IP或端口号,那么问题来了?不要紧张,不是问 挖掘机哪家强:),而是如何快速的把这一堆已经在线上运行的子应用,通通换掉相应的配置,而且还不能停机。

要解决这个问题,首先要从思路上做些改变:

1、公用配置不应该分散存放到各应用中,而是应该抽出来,统一存储到一个公用的位置(最容易想到的办法,放在db中,或统一的分布式cache server中,比如Redis,或其它类似的统一存储,比如ZooKeeper中)

2、对这些公用配置的添加、修改,应该有一个统一的配置管理中心应用来处理(这个也好办,做一个web应用来对这些配置做增、删、改、查即可)

3、当公用配置变化时,子应用不需要重新部署(或重新启动),就能使用新的配置参数(比较容易想到的办法有二个:一是发布/订阅模式,子应用主动订阅公用配置的变化情况,二是子应用每次需要取配置时,都实时去取最新配置)

由于配置信息通常不大,比较适合存放在ZooKeeper的Node中。主要处理逻辑的序列图如下:

解释一下:

考虑到所有存储系统中,数据库还是比较成熟可靠的,所以这些配置信息,最终在db中存储一份。

刚开始时,配置管理中心从db中加载公用配置信息,然后同步写入ZK中,然后各子应用从ZK中读取配置,并监听配置的变化(这在ZK中通过Watcher很容易实现)。

如果配置要修改,同样也先在配置管理中心中修改,然后持久化到DB,接下来同步更新到ZK,由于各子应用会监听数据变化,所以ZK中的配置变化,会实时传递到子应用中,子应用当然也无需重启。

示例代码:

这里设计了几个类,以模拟文中开头的场景:

FtpConfig对应FTP Server的公用配置信息,

ConfigManager对应【统一配置中心应用】,里面提供了几个示例方法,包括:从db加载配置,修改db中的配置,将配置同步到ZK

ClientApp对应子系统,同样也提供了几个示例方法,包括获取ZK的配置,文件上传,文件下载,业务方法执行

ConfigTest是单元测试文件,用于集成测试刚才这些类

为了方便,还有一个ZKUtil的小工具类

package yjmyzz.test;

import org.I0Itec.zkclient.ZkClient;

public class ZKUtil {

    public static final String FTP_CONFIG_NODE_NAME = "/config/ftp";

    public static ZkClient getZkClient() {
        return new ZkClient("localhost:2181,localhost:2182,localhost:2183");
    }

}

FtpConfig代码如下:

package yjmyzz.test;

import java.io.Serializable;

/**
 * Created by jimmy on 15/6/27.
 */
public class FtpConfig implements Serializable {

    /**
     * 端口号
     */
    private int port;

    /**
     * ftp主机名或IP
     */
    private String host;

    /**
     * 连接用户名
     */
    private String user;

    /**
     * 连接密码
     */
    private String password;

    public FtpConfig() {

    }

    public FtpConfig(int port, String host, String user, String password) {
        this.port = port;
        this.host = host;
        this.user = user;
        this.password = password;
    }

    public int getPort() {
        return port;
    }

    public void setPort(int port) {
        this.port = port;
    }

    public String getHost() {
        return host;
    }

    public void setHost(String host) {
        this.host = host;
    }

    public String getUser() {
        return user;
    }

    public void setUser(String user) {
        this.user = user;
    }

    public String getPassword() {
        return password;
    }

    public void setPassword(String password) {
        this.password = password;
    }

    public String toString() {
        return user + "/" + password + "@" + host + ":" + port;
    }
}

ConfigManager代码如下:

package yjmyzz.test;

import com.fasterxml.jackson.core.JsonProcessingException;
import org.I0Itec.zkclient.ZkClient;

public class ConfigManager {

    private FtpConfig ftpConfig;

    /**
     * 模拟从db加载初始配置
     */
    public void loadConfigFromDB() {
        //query config from database
        //TODO...
        ftpConfig = new FtpConfig(21, "192.168.1.1", "test", "123456");
    }

    /**
     * 模拟更新DB中的配置
     *
     * @param port
     * @param host
     * @param user
     * @param password
     */
    public void updateFtpConfigToDB(int port, String host, String user, String password) {
        if (ftpConfig == null) {
            ftpConfig = new FtpConfig();
        }
        ftpConfig.setPort(port);
        ftpConfig.setHost(host);
        ftpConfig.setUser(user);
        ftpConfig.setPassword(password);
        //write to db...
        //TODO...
    }

    /**
     * 将配置同步到ZK
     */
    public void syncFtpConfigToZk() throws JsonProcessingException {
        ZkClient zk = ZKUtil.getZkClient();
        if (!zk.exists(ZKUtil.FTP_CONFIG_NODE_NAME)) {
            zk.createPersistent(ZKUtil.FTP_CONFIG_NODE_NAME, true);
        }
        zk.writeData(ZKUtil.FTP_CONFIG_NODE_NAME, ftpConfig);
        zk.close();
    }

}

ClientApp类如下:

package yjmyzz.test;

import org.I0Itec.zkclient.IZkDataListener;
import org.I0Itec.zkclient.ZkClient;

import java.util.concurrent.TimeUnit;

public class ClientApp {

    FtpConfig ftpConfig;

    private FtpConfig getFtpConfig() {
        if (ftpConfig == null) {
            //首次获取时,连接zk取得配置,并监听配置变化
            ZkClient zk = ZKUtil.getZkClient();
            ftpConfig = (FtpConfig) zk.readData(ZKUtil.FTP_CONFIG_NODE_NAME);
            System.out.println("ftpConfig => " + ftpConfig);

            zk.subscribeDataChanges(ZKUtil.FTP_CONFIG_NODE_NAME, new IZkDataListener() {

                @Override
                public void handleDataChange(String s, Object o) throws Exception {
                    System.out.println("ftpConfig is changed !");
                    System.out.println("node:" + s);
                    System.out.println("o:" + o.toString());
                    ftpConfig = (FtpConfig) o;//重新加载FtpConfig
                }

                @Override
                public void handleDataDeleted(String s) throws Exception {
                    System.out.println("ftpConfig is deleted !");
                    System.out.println("node:" + s);
                    ftpConfig = null;
                }
            });
        }
        return ftpConfig;

    }

    /**
     * 模拟程序运行
     *
     * @throws InterruptedException
     */
    public void run() throws InterruptedException {

        getFtpConfig();

        upload();

        download();
    }

    public void upload() throws InterruptedException {
        System.out.println("正在上传文件...");
        System.out.println(ftpConfig);
        TimeUnit.SECONDS.sleep(10);
        System.out.println("文件上传完成...");
    }

    public void download() throws InterruptedException {
        System.out.println("正在下载文件...");
        System.out.println(ftpConfig);
        TimeUnit.SECONDS.sleep(10);
        System.out.println("文件下载完成...");
    }

}

最终测试一把:

package yjmyzz.test;

import com.fasterxml.jackson.core.JsonProcessingException;
import org.junit.Test;

/**
 * Created by jimmy on 15/6/27.
 */
public class ConfigTest {

    @Test
    public void testZkConfig() throws JsonProcessingException, InterruptedException {

        ConfigManager cfgManager = new ConfigManager();
        ClientApp clientApp = new ClientApp();

        //模拟【配置管理中心】初始化时,从db加载配置初始参数
        cfgManager.loadConfigFromDB();
        //然后将配置同步到ZK
        cfgManager.syncFtpConfigToZk();

        //模拟客户端程序运行
        clientApp.run();

        //模拟配置修改
        cfgManager.updateFtpConfigToDB(23, "10.6.12.34", "newUser", "newPwd");
        cfgManager.syncFtpConfigToZk();

        //模拟客户端自动感知配置变化
        clientApp.run();

    }

}

输出如下:

ftpConfig => test/123456@192.168.1.1:21
正在上传文件...
test/123456@192.168.1.1:21
文件上传完成...
正在下载文件...
test/123456@192.168.1.1:21
文件下载完成...

...

正在上传文件...
test/123456@192.168.1.1:21
ftpConfig is changed !
node:/config/ftp
o:newUser/newPwd@10.6.12.34:23
文件上传完成...
正在下载文件...
newUser/newPwd@10.6.12.34:23
文件下载完成...

 

从测试结果看,子应用在不重启的情况下,已经自动感知到了配置的变化,皆大欢喜。最后提一句:明白这个思路后,文中的ZK,其实换成Redis也可以,【统一配置中心】修改配置后,同步到Redis缓存中,然后子应用也不用搞什么监听这么复杂,直接从redis中实时取配置就可以了。具体用ZK还是Redis,这个看个人喜好。

  

 

时间: 2024-10-26 22:18:11

ZooKeeper 笔记(3) 实战应用之【统一配置管理】的相关文章

ZooKeeper 笔记(4) 实战应用之【消除单点故障】

关键节点的单点故障(Single Point of Failure)在大型的架构中,往往是致命的.比如:SOA架构中,服务注册中心(Server Register)统一调度所有服务,如果这个节点挂了,基本上整个SOA架构也就崩溃了,另外hadoop 1.x/2.x中的namenode节点,这是hdfs的核心节点,如果namenode宕掉,hdfs也就废了.ZooKeeper的出现,很好的解决了这一难题,其核心原理如下: 1. 关键节点的运行实例(或服务器),可以跑多个,这些实例中的数据完全是相同

Zookeeper笔记(二)Paxos算法与Zookeeper的工作原理

Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目, 它主要是用来解决分布式应用中经常遇到的一些数据管理问题,如:统一命名服务.状态同步服务.集群管理.分布式应用配置项的管理等. paxos算法 Zookeeper 采用paxos一致性算法保证了数据的一致性,Paxos算法是一种基于消息传递且具有高度容错特性的一致性算法. 具体的算法不多作介绍,可以查看维基百科Paxos算法. 想要更好的理解Paxos算法,可以关注知乎的这个问题 如何浅显易懂地解说 Paxos 的算

Zookeeper笔记(一)初识Zookeeper

为什么需要Zookeeper Zookeeper是一个典型的分布式数据一致性的解决方案, 分布式应用程序可以基于它实现诸如数据发布/订阅.负载均衡.命名服务.分布式协调/通知.集群管理.Master选举.分布式锁和分布式队列等功能. 在解决分布式数据一致性上,Zookeeper已经成为了目前唯一一个比较成熟的方案. Zookeeper致力于提供一个高性能.高可用,且具有严格的顺序访问控制能力的分布式协调服务. 设计目标 简单的数据结构 冗余,可以构建集群 有序访问 高性能 系统角色 Zookee

Linux Shell脚本编程学习笔记和实战

http://www.1987.name/141.html shell基础 终端打印.算术运算.常用变量 Linux下搜索指定目录下特定字符串并高亮显示匹配关键词 从键盘或文件中获取标准输入 [read命令] 文件的描述符和重定向 数组.关联数组和别名使用 函数的定义.执行.传参和递归函数 条件测试操作与流程控制语句 获取时间日期格式和延时 [date.sleep命令] 内部字段分隔符IFS和脚本的调试DEBUG 显示.读取或拼接文件内容 [cat命令] 文件查找与打印文件列表 [find命令]

Zookeeper笔记(四)Zookeeper在Dubbo中的应用

Zookeeper在Dubbo中的应用 Dubbo的架构 节点角色说明: Provider: 暴露服务的服务提供方.Consumer: 调用远程服务的服务消费方.Registry: 服务注册与发现的注册中心.Monitor: 统计服务的调用次调和调用时间的监控中心.Container: 服务运行容器.调用关系说明: 0. 服务容器负责启动,加载,运行服务提供者.1. 服务提供者在启动时,向注册中心注册自己提供的服务.2. 服务消费者在启动时,向注册中心订阅自己所需的服务.3. 注册中心返回服务提

ZooKeeper 笔记(6) 分布式锁

目前分布式锁,比较成熟.主流的方案有基于redis及基于zookeeper的二种方案. 大体来讲,基于redis的分布式锁核心指令为SETNX,即如果目标key存在,写入缓存失败返回0,反之如果目标key不存在,写入缓存成功返回1,通过区分这二个不同的返回值,可以认为SETNX成功即为获得了锁. redis分布式锁,看上去很简单,但其实要考虑周全,并不容易,网上有一篇文章讨论得很详细:http://blog.csdn.net/ugg/article/details/41894947/,有兴趣的可

ZooKeeper 笔记(5) ACL(Access Control List)访问控制列表

zk做为分布式架构中的重要中间件,通常会在上面以节点的方式存储一些关键信息,默认情况下,所有应用都可以读写任何节点,在复杂的应用中,这不太安全,ZK通过ACL机制来解决访问权限问题,详见官网文档:http://zookeeper.apache.org/doc/r3.4.6/zookeeperProgrammers.html#sc_ZooKeeperAccessControl 总体来说,ZK的节点有5种操作权限: CREATE.READ.WRITE.DELETE.ADMIN 也就是 增.删.改.查

Zookeeper笔记(三)部署与启动Zookeeper

部署与启动Zookeeper 下载zookeeper安装包 去Zookeeper官网,下载地址http://zookeeper.apache.org/releases.html, 建议下载稳定版本, 我下载的是zookeeper-3.4.6.tar.gz,解压到合适的目录, 就可以进行配置和启动. 为了操作简便,配置环境变量:#Set ZooKeeper Enviromentexport ZK_HOME=/data/zookeeper-3.4.6export PATH=PATH:PATH:ZK_

hibernate 查询语句统一配置管理

你以前所参与的项目里面,SQL.HQL,是否满天飞呢?在逻辑层,显示层那里都可以看到随手写的查询语句?这样的做法极度的破坏了分层的架构,无论如何的XP也应该遵循一定的管理与规范,那么统一管理查询语句的重要性就凸现了.       统一管理查询语句有何优点?       1.保持系统的分层架构,管理语句是持久层的责任,由它自己管理是最适合不过.松散的耦合总是我们向往的目标.       2.统一管理方便修改,可以减小人手修改带来的低级错误.             OK,接下来要考虑如何管理这些语