producer配置

比较核心的配置:metadata.broker.list、request.required.acks、producer.type、serializer.class

消费者获取消息元信息(topics, partitions and replicas)的地址,配置格式是:host1:port1,host2:port2,也可以在外面设置一个vip

metadata.broker.list

消息的确认模式

0:不保证消息的到达确认,只管发送,低延迟但是会出现消息的丢失,在某个server失败的情况下,有点像TCP

1:发送消息,并会等待leader 收到确认后,一定的可靠性

-1:发送消息,等待leader收到确认,并进行复制操作后,才返回,最高的可靠性

request.required.acks =0

消息发送的最长等待时间

request.timeout.ms =10000

socket的缓存大小

send.buffer.bytes=100*1024

key的序列化方式,若是没有设置,同serializer.class

key.serializer.class

分区的策略,默认是取模

partitioner.class=kafka.producer.DefaultPartitioner

消息的压缩模式,默认是none,可以有gzip和snappy

compression.codec = none

可以针对默写特定的topic进行压缩

compressed.topics=null

消息发送失败后的重试次数

message.send.max.retries =3

每次失败后的间隔时间

retry.backoff.ms =100

生产者定时更新topic元信息的时间间隔 ,若是设置为0,那么会在每个消息发送后都去更新数据

topic.metadata.refresh.interval.ms =600*1000

用户随意指定,但是不能重复,主要用于跟踪记录消息

client.id=""

------------------------------------------- 消息模式 相关 -------------------------------------------

生产者的类型 async:异步执行消息的发送 sync:同步执行消息的发送

producer.type=sync

异步模式下,那么就会在设置的时间缓存消息,并一次性发送

queue.buffering.max.ms =5000

异步的模式下 最长等待的消息数

queue.buffering.max.messages =10000

异步模式下,进入队列的等待时间 若是设置为0,那么要么进入队列,要么直接抛弃

queue.enqueue.timeout.ms = -1

异步模式下,每次发送的最大消息数,前提是触发了queue.buffering.max.messages或是queue.buffering.max.ms的限制

batch.num.messages=200

消息体的系列化处理类 ,转化为字节流进行传输

serializer.class= kafka.serializer.DefaultEncoder

时间: 2024-09-20 00:09:34

producer配置的相关文章

Kafka详解二、如何配置Kafka集群

Kafka集群配置比较简单,为了更好的让大家理解,在这里要分别介绍下面三种配置 单节点:一个broker的集群 单节点:多个broker的集群 多节点:多broker集群 一.单节点单broker实例的配置 1. 首先启动zookeeper服务      Kafka本身提供了启动zookeeper的脚本(在kafka/bin/目录下)和zookeeper配置文件(在kafka/config/目录下),首先进入Kafka的主目录(可通过 whereis kafka命令查找到):      [roo

RocketMQ配置

1. 客户端的公共配置类:ClientConfig 参数名 默认值 说明 namesrvAddrNameServer 地址列表,多个NameServer地址用分号隔开 clientIp 本机IP 客户端本机IP地址,某些机器会发送无法识别客户端IP地址的情况,需要应用在代码中强制指定 instanceName DEFAULT 客户端实例名称,客户端创建的多个Producer,Consumer实际是公用一个内部实例(这个实例包含网络连接,线程资源等) clientCallbackExecutorT

日志服务接入方式之log producer library

日志服务(原SLS)团队提供LogHub Producer Library方便客户端接入日志,Producer Library和Consumer Library是对LogHub功能的包装,降低数据收集与消费的门槛. Producer Library解决的问题: 客户端日志不落盘:既数据产生后直接通过网络发往服务端. 客户端高并发写入:例如一秒钟会有百次以上写操作. 客户端计算与IO逻辑分离:打日志不影响计算耗时. 在以上场景中,Producer Library会简化你程序开发的代价,帮助你批量聚

关于activemq-cpp的性能

问题描述 最近由于项目需要,使用了activeMQ,因项目使用c++,所以不可避免的使用了activemq-cpp.但是测试发现,其性能与java客户端相差很大.在只有一个broker,c++和java的producer配置完全相同的情况下,c++的producer的性能只能达到2000条/s,而java的producer可达到5000条/s以上.测试用的都是自带的例子,不知道是什么原因,相差太大了.有用activemq-cpp的朋友,你们的测试性能是多少呢?请赐教啊,感谢大家先

Kafka(分布式发布订阅消息系统)

http://kafka.apache.org/ 目前越来越多的开源分布式处理系统如Apache Storm.Spark都支持与Kafka集成. 使用场景:设想这样一个情景:想分析用户在网站上的的浏览行为.这些浏览日志,存数据库浪费,直接存硬盘又怕到时候操作效率低. 此时,消息系统就是一个选择. 1.组件 Broker ['brəʊkə] n.经纪人 Kafka集群包含一个或多个服务器,这种服务器被称为broker.Topic 每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic

Kafka源码分析之KafkaProducer

        KafkaProducer是一个Kafka客户端实现,可以发布记录records至Kafka集群.KafkaProducer是线程安全的,多线程之间共享单独一个producer实例通常会比多个producer实例要快.KafkaProducer包含一组缓存池空间,存储尚未传输到集群的记录records,同时,一个后台的I/O线程负责将这些记录转换成请求,并发送至集群.使用之后关闭producer失败将会导致这些资源泄露.         我们看下KafkaProducer都有哪些

Kafka配置SASL身份认证及权限实现文档

Kafka配置SASL身份认证及权限实现文档. 一. 版本说明本例使用:zookeeper-3.4.10,kafka_2.11-0.11.0.0.zookeeper版本无要求,kafka必须使用0.8以后的版本. 二. zookeeper配置SASLzookeeper集群或者单节点配置相同.具体步骤如下: 1.zoo.cfg文件配置添加如下配置: authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider

logback: 通用、可靠、快速灵活的日志框架--配置样例

一.简介:       logback是一个可靠.通用.快速而又灵活的Java日志框架. 声称要取代log4j.Logback is intended as a successor to the popular log4j projec       logback当前分成三个模块:logback-core,logback- classic和logback-access.       logback-core是其它两个模块的基础模块.logback-classic是log4j的一个改良版本.  

CAN控制器-配置过滤器

首先简单介绍一下CAN总线,关于CAN总线是谁发明的,CAN总线的历史,CAN总线的发展,CAN总线的应用场合,这些,通通不说.这里只是以我个人理解,简单说说CAN通信.CAN总线的端点没有地址(除非自己在帧里定义地址),CAN总线通信不用地址,用标识符,不是单独的谁发给谁,而是,你总是发送给整个网络.然后每个节点都有过滤器,对网络上的传播的帧的标识符进行过滤,自己想要什么样的帧,可以设置自己的过滤器,接收相关的帧信息.如果两个节点同时发送怎么办?这个不用我们担心,CAN控制器会自己仲裁,让高优