一、安装
Kafka依赖于ZooKeeper,所以在安装Kafka之前请确保ZooKeeper集群已安装正确并能正常运行。虽然Kafka自身内置了ZooKeeper,但是还是建议大家单独部署ZooKeeper集群,因为可能其他框架也需要使用ZooKeeper。
(一)、Kafka下载地址:http://mirrors.hust.edu.cn/apache/kafka/,你可以选择你需要的版本,如下:
我选择的是Kafka0.9.0.1版本,如下:
(二)Kafka安装步骤
1、解压
执行tar命令,如下:
解压后目录如下:
其中,bin目录如下:
config目录如下:
2、修改参数配置
编辑config/server.properties文件,如下:
修改的参数包括:
2.1、ZooKeeper连接地址:zookeeper.connect
2.2、Broker的ID:broker.id(每个Broker保持唯一,可从0开始递增编号)
2.3、主机名:host.name
2.4、分区数目:num.partitions
2.5、日志地址:log.dirs
3、启动
执行命令:JMS_PORT=9998 bin/kafka-server-start.sh config/server.properties &
4、停止
执行停止命令bin/kafka-server-stop.sh报错,如下:
所以,我们不得不通过直接kill进程的命令来停止Kafka,如下:
先查找进程号
再直接kill
二、验证测试
进入kafka根目录
1、创建topic
bin/kafka-topics.sh -zookeeper server3:2181 -topic testtopic -replication-factor 2 -partitions 5 -create
2、查看topic
bin/kafka-topics.sh -zookeeper server3:2181 -list
其中,test为之前所创建的topic,已被删除,所以后面标注为:marked for deletion
3、创建producer
bin/kafka-console-producer.sh -broker-list server2:9092,server3:9092 -topic testtopic
4、创建consumer
bin/kafka-console-consumer.sh -zookeeper server3:2181 - from-begining -topic testtopic
5、producer发布
6、consumer订阅
可以看到,producer发布了三条消息,分别为"wo shi zhong guo ren"、"dududu"、"hahaha",而consumer收到了三条一样的消息,验证测试完毕,Kafka已正确安装并成功运行!