Kafka分布式安装及验证测试

        一、安装

        Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。

        (一)、Kafka下载地址:http://mirrors.hust.edu.cn/apache/kafka/,你可以选择你需要的版本,如下:

        我选择的是Kafka0.9.0.1版本,如下:

        (二)Kafka安装步骤

        1、解压

        执行tar命令,如下:

        解压后目录如下:

        其中,bin目录如下:

        config目录如下:

        2、修改参数配置

        编辑config/server.properties文件,如下:

        修改的参数包括:

        2.1、ZooKeeper连接地址:zookeeper.connect

        2.2、Broker的ID:broker.id(每个Broker保持唯一,可从0开始递增编号)

        2.3、主机名:host.name

        2.4、分区数目:num.partitions

        2.5、日志地址:log.dirs

        3、启动

        执行命令:JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties & 

        4、停止

        执行停止命令bin/kafka-server-stop.sh报错,如下:

        所以,我们不得不通过直接kill进程的命令来停止Kafka,如下:

        先查找进程号

        再直接kill

        二、验证测试

        进入kafka根目录

        1、创建topic

        bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create

        2、查看topic

        bin/kafka-topics.sh -zookeeper server3:2181 -list

        其中,test为之前所创建的topic,已被删除,所以后面标注为:marked for deletion

        3、创建producer

        bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic

        4、创建consumer

        bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic

        5、producer发布

        6、consumer订阅

        可以看到,producer发布了三条消息,分别为"wo shi zhong guo ren"、"dududu"、"hahaha",而consumer收到了三条一样的消息,验证测试完毕,Kafka已正确安装并成功运行!

时间: 2024-10-21 13:09:32

Kafka分布式安装及验证测试的相关文章

kafka分布式部署与验证

kafka是一个分布式环境下的消息组件,如果kafka的应用进程被杀或者kafka的机器宕机,那么kafka消息组件就无法使用了. kafka集群(cluster) 一台机器不够,那就多搞几台,首先,启动zookeeper这个就不多说了.可以参看前文,在启动kafka的时候,我们在单机模拟启动多个kafka应用. 首先在config目录,copy两个server.properties 文件,这里我复制三份,分别起名server1.properties ,server2.properties se

HBase伪分布式安装(HDFS)+ZooKeeper安装+HBase数据操作+HBase架构体系

HBase1.2.2伪分布式安装(HDFS)+ZooKeeper-3.4.8安装配置+HBase表和数据操作+HBase的架构体系+单例安装,记录了在Ubuntu下对HBase1.2.2的实践操作,HBase的安装到数据库表的操作.包含内容1.HBase单例安装2.HBase伪分布式安装(基于Hadoop的HDFS)过程,3.HBase的shell编程,对HBase表的创建,删除等的命令,HBase对数据的增删查等操作.4.简单概述了Hbase的架构体系.5.zookeeper的单例安装和常用操

Rationa Functional Tester 截图功能在翻译验证测试(TVT)中的应用

1. TVT 简介及其当前主要困难,瓶颈 翻译验证测试(Translation Verification Testing,TVT) 是 IBM 全球化测试中的一个很重要的测试之一,一般会由来自于 TSC(Translation Service Centers)的翻 译人员和来自 GSSC 的 TSE(Translation Service Engineer)合作完成.TVT 主要的工作在于验证翻译的 PII(Program Integrated Information)字符在经过软件产品的重新编

Linux下Kafka单机安装配置方法(图文)_Linux

介绍 Kafka是一个分布式的.可分区的.可复制的消息系统.它提供了普通消息系统的功能,但具有自己独特的设计.这个独特的设计是什么样的呢? 首先让我们看几个基本的消息系统术语: •Kafka将消息以topic为单位进行归纳. •将向Kafka topic发布消息的程序成为producers. •将预订topics并消费消息的程序成为consumer. •Kafka以集群的方式运行,可以由一个或多个服务组成,每个服务叫做一个broker. producers通过网络将消息发送到Kafka集群,集群

Hadoop学习之HBase的伪分布式安装

HBase的伪分布式安装 1.   HBase单台机器上的安装 a)    使用winscp将win下的HBase软件(hbase-0.94.7-security.tar.gz)包复制到linux下的/usr/local/下 b)   解压文件hbase-0.94.7-security.tar.gz #tar -xzvf hbase-0.94.7-security.tar.gz 更名为hbase #mv hbase-0.94.7-security hbase c)    增加hbase的环境变量

IDC假负载验证测试问题分析

关于IDC假负载验证测试,"腾讯数据中心"已经发送2篇介绍文章<数据中心假负载验证测试之道>.<数据中心假负载验证测试实战指导方案>,今天我们将以某大型微模块数据中心(简称A-IDC)的假负载验证测试为例,继续为大家剖析假负载验证测试情况. 一.假负载验证测试问题概述 A-IDC假负载验证测试主要由基础设施验证测试和微模块验证测试组成.该项目验证测试累积发现基础设施问题280项,微模块测试问题381项.测试发现的问题主要分为4类:设计问题.设备选型问题.设备质量

利用Selenium IDE在翻译验证测试中快速实现可复用的自动化测试

概述 翻译验证测试是指在产品集成翻译文件之后,由专业的翻译人员检查翻译在产品的上下文语境中是否准确, 是否能方便最终用户的理解和使用.考虑到翻译人员产品操作的熟练程度和成本等原因,通常是由产品部门提供语言的截图 给翻译人员进行检查.软件产品的翻译验证测试对提高语言用户的满意度和更好的将产品推向国际市场具有十分重要的意义 .然而由于以下原因,翻译验证测试的截图工作通常不太容易进行自动化操作: 为了尽快的发布产品,翻译进入产品到产品最终发布的时间间隔通常被安排的很短,限制了翻译验证测试的自动化脚本

hadoop2.6完全分布式安装HBase1.1

对于全分布式的HBase安装,需要通过hbase-site.xml文档来配置本机的HBase特性,由于各个HBase之间通过zookeeper来进行通信,因此需要维护一组zookeeper系统,关于zookeeper的安装使用,参考<hadoop2.6完全分布式安装zookeeper3.4.6> 关于HBase的介绍,可以看这里<HBase简介> 1.安装Hbase (1)下载hbase版本 下载地址:http://www.apache.org/dyn/closer.cgi/hba

centos 7下Hadoop 2.7.2 伪分布式安装

centos 7 下Hadoop 2.7.2 伪分布式安装,安装jdk,免密匙登录,配置mapreduce,配置YARN.详细步骤如下: 1.0 安装JDK 1.1 查看是否安装了openjdk [lei@bogon ~]$ java -version openjdk version "1.8.0_65" OpenJDK Runtime Environment (build 1.8.0_65-b17) OpenJDK 64-Bit Server VM (build 25.65-b01,