Consumer配置

Consumer归属的组ID,broker是根据group.id来判断是队列模式还是发布订阅模式,非常重要

group.id

消费者的ID,若是没有设置的话,会自增

consumer.id

一个用于跟踪调查的ID ,最好同group.id相同

client.id = group id value

对于zookeeper集群的指定,可以是多个 hostname1:port1,hostname2:port2,hostname3:port3 必须和broker使用同样的zk配置

zookeeper.connect=localhost:2182

zookeeper的心跳超时时间,查过这个时间就认为是dead消费者

zookeeper.session.timeout.ms =6000

zookeeper的等待连接时间

zookeeper.connection.timeout.ms =6000

zookeeper的follower同leader的同步时间

zookeeper.sync.time.ms =2000

当zookeeper中没有初始的offset时候的处理方式 。smallest :重置为最小值 largest:重置为最大值 anythingelse:抛出异常

auto.offset.reset = largest

socket的超时时间,实际的超时时间是:max.fetch.wait + socket.timeout.ms.

socket.timeout.ms=30*1000

socket的接受缓存空间大小

socket.receive.buffer.bytes=64*1024

从每个分区获取的消息大小限制

fetch.message.max.bytes =1024*1024

是否在消费消息后将offset同步到zookeeper,当Consumer失败后就能从zookeeper获取最新的offset

auto.commit.enable =true

自动提交的时间间隔

auto.commit.interval.ms =60*1000

用来处理消费消息的块,每个块可以等同于fetch.message.max.bytes中数值

queued.max.message.chunks =10

当有新的consumer加入到group时,将会reblance,此后将会有partitions的消费端迁移到新

的consumer上,如果一个consumer获得了某个partition的消费权限,那么它将会向zk注册

"Partition Owner registry"节点信息,但是有可能此时旧的consumer尚没有释放此节点,

此值用于控制,注册节点的重试次数.

rebalance.max.retries =4

每次再平衡的时间间隔

rebalance.backoff.ms =2000

每次重新选举leader的时间

refresh.leader.backoff.ms

server发送到消费端的最小数据,若是不满足这个数值则会等待,知道满足数值要求

fetch.min.bytes =1

若是不满足最小大小(fetch.min.bytes)的话,等待消费端请求的最长等待时间

fetch.wait.max.ms =100

指定时间内没有消息到达就抛出异常,一般不需要改

consumer.timeout.ms = -1

时间: 2024-10-03 18:09:36

Consumer配置的相关文章

【Kafka】Consumer配置

从0.9.0.0开始,下面是消费者的配置. 名称 描述 类型 默认值 bootstrap.servers 消费者初始连接kafka集群时的地址列表.不管这边配置的什么地址,消费者会使用所有的kafka集群服务器.消费者会通过这些地址列表,找到所有的kafka集群机器. list key.deserializer 实现了Deserializer的key的反序列化类 class value.deserializer 实现了Deserializer的value的反序列化类 class fetch.mi

MySQL5.6 Performance_schema 深入浅出

目录结构 22.1 performance Schema 快速入门 22.2 Performance Schema 配置 22.2.1 mysql编译的时候 修改Performance Schema配置 22.2.2 mysql启动的时候 修改Performance Schema配置 22.2.3 mysql运行过程中 修改Performance Schema配置 22.3 Performance Schema 查询 22.4 Performance Schema Instrument Nami

【转】ActiveMQ与虚拟通道

ActiveMQ提供了虚拟通道的特性(Virtual Destination),它允许一个逻辑通道(logical destination)映射成一个或者多个物理通道(physical destination);它可以非常灵活的解决"消息整合"方面的问题,它可以实现:     1) 提供了VirtualTopic特性,可以让一个订阅者的消息列表,作为Queue来消费.     2) 提供了Composite特性,可以把一个逻辑通道中的消息,转发到任意多的物理通道中.   一. Virt

kafka.common.ConsumerRebalanceFailedException异常解决

kafka.common.ConsumerRebalanceFailedException: group_dd-1446432618163-2746a209 can't rebalance after 10 retries  at kafka.consumer.ZookeeperConsumerConnector$ZKRebalancerListener.syncedRebalance(ZookeeperConsumerConnector.scala:432)  at kafka.consume

Kafka详解二、如何配置Kafka集群

Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置 单节点:一个broker的集群 单节点:多个broker的集群 多节点:多broker集群 一.单节点单broker实例的配置 1. 首先启动zookeeper服务      Kafka本身提供了启动zookeeper的脚本(在kafka/bin/目录下)和zookeeper配置文件(在kafka/config/目录下),首先进入Kafka的主目录(可通过 whereis kafka命令查找到):      [roo

z/OS上的LDAP Advanced Replication的配置实例

LDAP通过Replication机制保证数据在多个服务器上的同步.z/OS上的LDAP服务器支持两种形式的Replication,即Basic Replication和Advanced Replication. Basic Replication提供了最基本的数据同步服务,这种机制仅支持Master-Replica和basic Peer-Peer两种拓扑结构,并且同步的最小单位为一个完整的后端(Backend).相比之下,Advanced Replication提供了更为灵活的数据同步机制,同

Spring Boot Dubbo applications.properties 配置清单

摘要: 原创出处 www.bysocket.com 「泥瓦匠BYSocket 」欢迎转载,保留摘要,谢谢! 『 与其纠结,不如行动学习.Innovate ,And out execute ! 』 本文提纲 一.前言 二.applications.properties 配置清单 三.@Service 服务提供者常用配置 四.@Reference 服务消费者常用配置 五.小结   运行环境:JDK 7 或 8.Maven 3.0+ 技术栈:SpringBoot 1.5+..Dubbo 2.5+ 一.

Kafka配置SASL身份认证及权限实现文档

Kafka配置SASL身份认证及权限实现文档. 一. 版本说明本例使用:zookeeper-3.4.10,kafka_2.11-0.11.0.0.zookeeper版本无要求,kafka必须使用0.8以后的版本. 二. zookeeper配置SASLzookeeper集群或者单节点配置相同.具体步骤如下: 1.zoo.cfg文件配置添加如下配置: authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

CAN控制器-配置过滤器

首先简单介绍一下CAN总线,关于CAN总线是谁发明的,CAN总线的历史,CAN总线的发展,CAN总线的应用场合,这些,通通不说.这里只是以我个人理解,简单说说CAN通信.CAN总线的端点没有地址(除非自己在帧里定义地址),CAN总线通信不用地址,用标识符,不是单独的谁发给谁,而是,你总是发送给整个网络.然后每个节点都有过滤器,对网络上的传播的帧的标识符进行过滤,自己想要什么样的帧,可以设置自己的过滤器,接收相关的帧信息.如果两个节点同时发送怎么办?这个不用我们担心,CAN控制器会自己仲裁,让高优