Confluent宣布企业版Kafka支持多数据中心复制功能

最新的Confluent企业版支持多数据中心复制、自动数据平衡和云迁移功能。Confluent是基于Apache Kafka的流平台提供商,它宣布了Confluent企业版的新特性,这些特性有助于构建流数据管道和开发流处理应用。

新的版本将会在本月底发布,其中包括了Confluent的两个版本:

Confluent平台:这是开源版本。它包括了Apache Kafka以及针对C、C++、Python和Go编程语言的客户端,它还打包了针对JDBC、ElasticSearch和HDFS的连接器,一个用于管理Kafka主题元数据的模式注册表(Schema Registry)以及与Web应用进行集成的REST代理; Confluent企业版:这是针对企业提供的版本,包含了开发企业级流应用的额外功能。它包括了监控事件流的Confluent控制中心(Confluent Control Center)、MDC复制以及自动化的数据平衡功能。
新的数据复制和数据平衡功能有助于更好地管理Kafka集群。

多数据中心复制(Multi-datacenter replication):借助多数据中心(MDC)复制功能能够实现安全的多集群副本,并且能够通过中心化的配置维护这些位于不同地理位置的集群。每个数据中心的Kafka集群是同步的,所以不同数据中心上的应用和配置能够保持同步。

它提供了持久化的跨数据中心复制功能并且与安全进行集成,能够在Apache Kafka中加密和认证复制的数据。我们可以针对整个集群或特定的主题子集进行复制操作。

MDC副本自带了完整的安全支持,包括跨数据中心对副本数据进行自动化的访问控制。认证采用的是SASL机制,支持与Kerberos和Active Directory集成。授权能够基于主题进行MDC的流复制。加密是基于SSL和Mirror Maker的。

自动化数据平衡:自动化数据平衡特性允许从Kafka集群中添加和移除节点,因此我们甚至可以创建跨集群的工作负载。它会监控集群的统计数据,比如节点的数量、分区(partition)的大小、分区的数量以及集群中leader的数量,并且会采用机架感知(rack aware)的算法来重平衡跨集群的分区。

云迁移: Confluent企业版产品对云功能的支持有助于将数据流创建到云端,并且能够将云集群与内部的Kafka集群进行同步。基于Confluent的复制功能,能够允许组织从某种云策略转换为将来的其他策略。

如果你对新特性感兴趣的话,可以注册即将开始的webinar或者最近上线的免费在线系列演讲。

本文转自d1net(转载)

时间: 2024-09-19 17:02:07

Confluent宣布企业版Kafka支持多数据中心复制功能的相关文章

多数据中心间复制技术的较量

虽然数据中心的建设规模越来越大,但也不可能无限制地扩容下去,这和数据中心所处的位置.环境.技术水平.公共设施等都有关系.很多时候,要在多地建设很多座数据中心,有时是应用的需要,有时是资源限制,也有时是为了数据备份,甚至到现在还出现了很多新鲜的概念:比如微型数据中心,云端数据中心等,不再一味地强调建设超大超强的数据中心,俗话说"三个臭皮匠顶一个诸葛亮",未来的数据中心可以以数量取胜,而不是个体的大与小.那么问题来了,多个数据中心之间如何协调工作,才能达到"1+1大于2"

需求至上——MongoDB多数据中心的方案选型

Teambition业务本身是为了了更好的团队协作,并且随着用户量和使用⾏业.企业的增加,越来越多的跨国协作需求体现出来.对TB的选型来说,目的就是多region(大陆/海外)来提供服务,逐步扩大市场.总结而言,是业务的需要.   Single-Cluster or Multi-Cluster ? • 单集群还是多集群的选择往往受到业务本身,以及希望实现什么样的多数据中心架构影响 • 是否需要所谓的多primary写入   Replsettag or Shardtagrange ? • 数据库集

云存储多数据中心QoS保障机制研究

云存储多数据中心QoS保障机制研究 江苏大学 夏纯中 本文分析了云存储多数据中心间网络链路带宽利用不均衡的问题,提出了一种面向QOS的多数据中心间网络流量调度模型.模型的优化目标是保证不同QoS级别数据传输的性能需求,并使数据中心间网络链路带宽资源利用率最大化.本文结合云存储多数据中心层次化管理特点,提出了一种基于双层多粒子群的网络流量调度算法.该算法具有更快的收敛速度.避免了传统算法极易陷入局部最优值问题.仿真结果表明,本算法可以提升云存储多数据中心间网络链路带宽的利用率,并且保障高QoS优先

很快!红帽Linux企业版将支持高通ARM服务器

ZD至顶网服务器频道 03月10日 新闻消息:今日获悉,高通(Qualcomm)和红帽(Red Hat)正在将企业版Linux移植到高通即将推出的64位ARM服务器处理器上.  具体来说,两家公司正在"合作"将红帽的企业Linux服务器ARM开发预览版移植到高通去年10月展出的24核ARMv8-A芯片上.正如其名字所说的那样,红帽的ARM开发预览版只是红帽企业Linux 的ARM构建版的半成品版.  高通周三发声明表示,"高通科技(QTI)和红帽公司成功在高通的服务器开发平台

ONS(RocketMQ)为什么能够比Kafka支持更多的分区数量?

简述: Kafka模型产生自日志记录场景,受到场景所限,Kafka不需要太高的并发度.而在阿里这样的大规模应用中,我们经过实践发现,原有模型已经不能满足阿里的实际需要.ONS(RocketMQ)则比较好的解决了并发数问题,已经是内部非常广泛使用的一套产品. 分区数量在Kafka中有什么作用? Producer(消息发送者)的往消息Server的写入并发数与分区数成正比. Consumer(消息消费者)消费某个Topic的并行度与分区数保持一致,假设分区数是20,那么Consumer的消费并行度最

苹果iCloud或在今年晚些时候支持游戏中心和苹果地图

苹果CEO蒂姆·库克(Tim Cook)曾经说过,互联网服务是苹果今年关注的重点.但是提高对iCloud这样的在线服务的重视程度却引发了公司内部动荡. 据有关媒体报道称,苹果有一个基础设施部门是由公司在2010年收购Siri时获得的一批工程师领导的,该部门的一名经理最近因为内讧而辞职了.公司内部传言,担任云工程技术主管的戴伦·哈斯(Darren Hass)可能也会离开公司. 面向Siri的这个部门一直跟谷歌资深元老埃里克·比林斯利(Eric Billingsley)领导的另一部门不和,后者目前负

linux中搭建ElasticSearch-2.x Logstash-2.x Kibana-4.5.x Kafka为消息中心的ELK日志平台

介绍 ELK是业界标准的日志采集,存储索引,展示分析系统解决方案 logstash提供了灵活多样的插件支持不同的input/output 主流使用redis/kafka作为日志/消息的中间环节 如果已有kafka的环境了,使用kafka比使用redis更佳 以下是一个最简化的配置做个笔记,elastic官网提供了非常丰富的文档 不要用搜索引擎去搜索,没多少结果的,请直接看官网文档 采用的ELK/kafka版本 elasticsearch-2.x logstash-2.3 kibana-4.5.1

NTT在SDN数据中心使用Coriant光网络平台,实现多数据中心互联

NTT集团正在计划使用Coriant的光网络平台来实现位于香港的多个数据中心之间的互联,该公司表示这一举措将使NTT通过其光纤基础设施提供100G+数据中心互联服务,这些数据中心能够支持企业云.托管数据中心和用户拥有的数据中心之间的软件定义网络(SDN)连接. Coriant公司的产品部署在NTT公司的密集波分复用(DWDM)基础设施上,开放的应用程序编程接口(API)平台能够容纳3.2兆比特的容量.还支持可编程DWDM线路接口,用于管理各种场景下的100G和400G之间的传输. Coriant

Windows 10 企业版将支持通过虚拟机运行 Edge

微软宣布Windows 10的下一次重大更新将使用一个轻量级虚拟机隔离运行 Edge浏览器.在虚拟机内运行浏览器将增加利用浏览器弱点和攻击操作系统或窃取用户数据的困难.这项特性被称为Windows Defender Application Guard for Microsoft Edge,Windows 10的 Virtualization Based Security利用小型虚拟机和Hyper-V隔离关键数据和其它系统. Edge浏览器的进程本就运行在一个安全沙盒内,限制浏览器运行恶意代码可能