【2】基于zookeeper,quartz,rocketMQ实现集群化定时系统

<一>项目结构图

 

 

(1)ZK协调分配

===>集群中的每一个定时服务器与zookeeper交互,由集群中的master节点进行任务划分,并将划分结果分配给集群中的各个服务器节点。

===>保证每台定时服务器的节点持有唯一的定时任务。

===>当集群中有节点宕机,保证宕机的节点持有的任务会被重新分配到正常运行的服务器节点上。

===>将协调的结果交给本地容器

 

(2)本地容器

===>持有本定时服务器持有的定时任务

===>将本地容器的任务推送到quartz的容器中,使其完成定时任务触发

 

(3)Quartz

===>该容器触发定时任务,将任务发送到jms消息上,由业务服务器监听触发业务定时。

 

<二>zookeeper上如何协调任务分配的节点创建结构

 

 

(1)Server节点下的子节点,为定时服务器集群中的服务注册节点

(2)Task节点下的子节点,为定时系统所有的定时任务的节点。

(3)每一个task任务节点下会有唯一一个子节点,该子节点是定时服务集群中服务器唯一持有该任务的机器节点。

 

时间: 2024-11-09 00:39:04

【2】基于zookeeper,quartz,rocketMQ实现集群化定时系统的相关文章

【1】基于quartz框架和Zookeeper实现集群化定时任务系统

(1)quartz本身可以支持集群化,是基于数据库做协调,现在构想基于zookeeper做协调实现集群化定时系统 流程图如下:

Mesos+Zookeeper+Marathon+Docker分布式集群管理最佳实践

目录  Mesos简介 Zookeeper简介 Marathon简介 docker集群实践 Mesos集群部署   一.Mesos简介   Mesos是Apache下的开源分布式资源管理框架,它被称为分布式系统的内核.Mesos最初是由加州大学伯克利分校的AMPLab开发,后在Twitter得到广泛使用.   Mesos-Master:主要负责管理各个framework和slave,并将slave上的资源分配给各个framework. Mesos-Slave:负责管理本节点上的各个mesos-t

quartz集群-Quartz+Spring+Hibernate集群环境下 ClusterManager: Error managing cluster: null

问题描述 Quartz+Spring+Hibernate集群环境下 ClusterManager: Error managing cluster: null [2013-12-19 14:43:44] [ERROR] QuartzScheduler_quartzScheduler-NON_CLUSTERED_ClusterManager) - ClusterManager: Error managing cluster: null java.lang.reflect.UndeclaredThro

饿了么Redis Cluster集群化演进

2017运维/DevOps在线技术峰会上,饿了么运维负责人程炎岭带来题为"饿了么Redis Cluster集群化演进"的演讲.本文主要从数据和背景开始谈起,并对redis的治理进行分析,接着分享了redis cluster的优缺点,重点分析了corvus,包括commands.逻辑架构和物理部署等,最后分享了redis的运维和开发,并作了简要总结,一起来瞧瞧吧.   以下是精彩内容整理: 近几个月,运维事件频发.从"炉石数据被删"到"MongoDB遭黑客勒

IBM DB2 pureScale集群化数据库架构和技术概述

本系列文章共分为两个部分,第 1 部分介绍了 DB2 pureScale 的架构和技术,第 2 部分将介绍 DB2 pureScale 应用程序配置. 持续可用性.应用程序集群透明度和极限容量:无论在怎样的市场营销资料中,这些热门关键词总是与 IBM DB2 pureScale 密不可分.但它们真正的含义是什么? DB2 pureScale 绝不只是一项特性,而是一种观察 DB2 数据库的全新方式.您在http://www.aliyun.com/zixun/aggregation/11872.h

NetApp针对其集群化方案“不值得升级”言论回击Wikibon

Wikibon此前曾发表分析结论,表示NetApp ONTAP 7-Mode用户不值得迁移至其集群化方案(简称CDOT),并指出ONTAP在某些应用领域中并非最佳选项. NetApp公司产品.解决方案与服务营销副总裁Lee Caswell向我们发出了以下回复内容. Wikibon的分析结论可以被视为一项针对单一企业及其主要产品的挑衅行为.在这种情况下,被针对的企业应当做出回应,而且我们不会对其回应内容做出任何修改.下面来看Caswell发回的还击意见: 我们很少看到一位行业分析师会像Wikibo

impala-Impala 无法集群化只能单节点

问题描述 Impala 无法集群化只能单节点 各位大神,小弟刚刚接触Impala,hadoop,mysql,Hive部署完全正确,也能在上运行负载,但是却无法启动Impala集群,每个机器的impala都是正常,网页也可以看到,但是运行时候,无法做到分布式的集群结构

基于Redis Sentinel的Redis集群(主从Sharding)高可用方案(转)

本文主要介绍一种通过Jedis&Sentinel实现Redis集群高可用方案,该方案需要使用Jedis2.2.2及以上版本(强制),Redis2.8及以上版本(可选,Sentinel最早出现在Redis2.4中,Redis2.8中Sentinel更加稳定),Redis集群是以分片(Sharding)加主从的方式搭建,满足可扩展性的要求: Redis Sentinel介绍 Redis Sentinel是Redis官方提供的集群管理工具,主要有三大功能: 监控,能持续监控Redis的主从实例是否正常

基于分布式SSD云盘集群的Oracle 性能测试报告

  1.测试目的 阿里云云服务器(Elastic Compute Service,简称 ECS)是一种简单高效.处理能力可弹性伸缩的计算服务,帮助客户快速构建更稳定.安全的应用,提升运维效率,降低 IT 成本,使您更专注于核心业务创新.而阿里云块存储(Block Storage),是阿里云为云服务器ECS提供的低时延.持久性.高可靠的数据块级随机存储.块存储支持在可用区内自动复制数据,防止意外的硬件故障导致数据不可用,以保护您的业务免于组件故障的威胁.就像对待硬盘一样,客户可以对挂载到ECS实例