kafka

introduction
对于流平台 有三个关键的作用
1.它允许发布和记录流 这方面有点像消息队列或者是信息系统
2.它运行以容错的机制存储流
3.允许处理流记录

好处
1.建立实时流数据管道在系统和引用之间
2.建立实时流应用用于转换或者响应数据

概念
kafka运行在集群上一个或者多个服务
kafka集群储存流记录在分类中这个分类被叫做topics
每条记录由key value 和shij时间戳组成

kafka有四个核心API

生产者 Producer API :允许发布流记录到topics上

消费者consummer API:允许一个应用赞成一个或者多个topics和流进程记录生产他们

流 Streams API 允许应用以处理器 消费输入流通过一个或者多个topics生产一个或者多个输出topic 可以有效地将输入流转换为输出流

连接 Connector API

kafka 的topic中存在的应用或者数据系统允许建立或者运行生产者或消费者 例如 age连接到关系型数据库兴许可以铺货所有改变的了的表.

在kafka中的客户端和服务器之间的信息交流通过一个简单 高效 与语烟无关的TCP 协议完成

核心抽象流记录到topic中

topic是一个分区或者命名为可以记录发布的分区