雅虎推出 Kafka 集群管理工具 —— Kafka Manager

如今集群设计遍地都是.最典型的例子包括软件定义存储.虚拟化架构.超级融合.公有云与私有云,以及众所周知的大数据.集群以横向扩展的方式来构建基础设施,使用商业产品,如服务器和JBOD.横向扩展的设计能够实现容量与性能递增,与大部分纵向扩展的基础架构相比,有着巨大的成本规模效益. 大集群因为其支持大规模融合与整合,可以协助优化整体资本支出,而不断吸引业内目光.那么为什么我们不把现在所有的IT基础设施都集群化呢?大规模集群管理和运维都相当复杂,尤其是在开始将工作负载和租户结合后.如果建造了一个大集群,

synctool 是一个集群管理工具,使集群中所有节点的配置文件保持同步.节点有可能是一个逻辑组或类的一部分,此时他们需要一个配置文件的特定子集.synctool可以按照需要时重新启动守护进程,前提是如果相关的配置文件已被更改,它也可以用于补丁管理或其他系统管理任务. synctool 5.2该版本修复了DSH-PKG命令解析错误,Nagios的检查脚本已完成. 软件信息:http://www.heiho.net/synctool/ 下载地址:http://www.heiho.net/synct

synctool是一个集群管理工具,使集群中所有节点的配置文件保持同步.节点有可能是一个逻辑组或类的一部分,此时他们需要一个配置文件的特定子集.synctool可以按照需要时重新启动守护进程,前提是如果相关的配置文件已被更改,它也可以用于补丁管理或其他系统管理任务. synctool 5.1该版本修复了一些在以前版本的错误.在命令行上的节点和组的逗号分隔列表不正确的解析问题已修复.每当输出打印到stderr,节点名称将不会被印在前面的信息.dsh-ping现在支持fping和Solaris pi

Google最近发布了一篇名为"Google使用Borg进行大规模集群的管理"的论文,披露了这个在过去极少提及的技术的细节. Borg是一个集群管理器,它负责对来自于几千个应用程序所提交的job进行接收.调试.启动.停止.重启和监控,这些job将用于不同的服务,运行在不同数量的集群中,每个集群各自都可包含最多几万台服务器.Borg的目的是让开发者能够不必操心资源管理的问题,让他们专注于自己的工作,并且做到跨多个数据中心的资源利用率最大化.下面这张图表描述了Borg的主要架构: Borg

当你有多台服务器,如果一台一台登录上去管理那就说不出的麻烦,所以批量管理工具就应运而生了.只要你设置了SSH无密码登录: ssh-keygen -t rsa ssh-copy-id user@host 将密钥分发到响应的host上就可以实现无密码ssh登录和操作了. pssh是使用Python编写的,运行它前需要确保机器上已经安装了Python环境. 使用wget下载编译安装: wget http://parallel-ssh.googlecode.com/files/pssh-2.3.1.ta

如何为Kafka集群选择合适的Partitions数量 Hadoop技术博文 这是许多kafka使用者经常会问到的一个问题.本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式. 文章目录 1 越多的分区可以提供更高的吞吐量 2 越多的分区需要打开更多地文件句柄 3 更多地分区会导致更高的不可用性 4 越多的分区可能增加端对端的延迟 5 越多的partition意味着需要客户端需要更多的内存 6 总结   越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实:在kafka

Kafka近年来日渐流行,LinkedIn的1800台Kafka服务器每天处理2万亿个消息.虽说Kafka运行得十分稳定,但要大规模运行Kafka,在运维方面仍然面临巨大的挑战.每天都会有broker崩溃,导致集群工作负载不均衡.SRE团队需要花费大量的时间和精力来重分配分区,以便让集群重新恢复均衡. 自动化因此变得十分重要,这也就是为什么我们要开发Cruise Control:持续监控Kafka集群,自动调整分配给服务器的资源,达到预期的性能目标.用户设定目标,Cruise Control对集

Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置 单节点:一个broker的集群 单节点:多个broker的集群 多节点:多broker集群 一.单节点单broker实例的配置 1. 首先启动zookeeper服务      Kafka本身提供了启动zookeeper的脚本(在kafka/bin/目录下)和zookeeper配置文件(在kafka/config/目录下),首先进入Kafka的主目录(可通过 whereis kafka命令查找到):      [roo

问题描述 kafka集群 报错 在线等 WARN [Controller-1-to-broker-2-send-thread], Controller 1's connection to broker Node(2, mine-28, 9092) was unsuccessful (kafka.controller.RequestSendThread) java.io.IOException: Connection to Node(2, mine-28, 9092) failed at kafk