Apache Kafka 0.8.2.1 发布,消息发布订阅系统

Apache Kafka 0.8.2.1 发布,该版本修复了 4 个关键 bug:

[KAFKA-1919] - Metadata request issued with no backoff in new producer if there are no topics

  • [KAFKA-1952] - High CPU Usage in 0.8.2 release
  • [KAFKA-1971] - starting a broker with a conflicting id will delete the previous broker registration
  • [KAFKA-1984] - java producer may miss an available partition

kafka是一种高吞吐量的分布式发布订阅消息系统,她有如下特性:

  • 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
  • 高吞吐量:即使是非常普通的硬件kafka也可以支持每秒数十万的消息。
  • 支持通过kafka服务器和消费机集群来分区消息。
  • 支持Hadoop并行数据加载。

文章转载自 开源中国社区 [http://www.oschina.net]

时间: 2024-09-08 19:47:29

Apache Kafka 0.8.2.1 发布,消息发布订阅系统的相关文章

实用 | 从Apache Kafka到Apache Spark安全读取数据

引言 随着在CDH平台上物联网(IoT)使用案例的不断增加,针对这些工作负载的安全性显得至关重要.本篇博文对如何以安全的方式在Spark中使用来自Kafka的数据,以及针对物联网(IoT)使用案例的两个关键组件进行了说明. Cloudera Distribution of Apache Kafka 2.0.0版本(基于Apache Kafka 0.9.0)引入了一种新型的Kafka消费者API,可以允许消费者从安全的Kafka集群中读取数据.这样可以允许管理员锁定其Kafka集群,并要求客户通过

Apache Kafka是分布式发布-订阅消息系统

转自: http://www.infoq.com/cn/articles/apache-kafka?utm_source=infoq&utm_medium=popular_links_homepage 简介 Apache Kafka是分布式发布-订阅消息系统.它最初由LinkedIn公司开发,之后成为Apache项目的一部分.Kafka是一种快速.可扩展的.设计内在就是分布式的,分区的和可复制的提交日志服务. Apache Kafka与传统消息系统相比,有以下不同: 它被设计为一个分布式系统,易

Apache NiFi 0.4.0 发布,数据处理和分发系统

Apache NiFi 0.4.0 发布,此版本现已提供下载: http://nifi.apache.org/download.html Maven:https://repository.apache.org/content/repositories/releases/org/apache/nifi/ 值得关注的改进: ###新特性 Multiple Authentication Mechanisms Drop FlowFiles from Queue 可用性改进 Explicit Proces

Apache::Deploy 0.5.1发布 Tomcat的Apache模块

Apache::Deploy 是一个用来将 war 包发布到 Tomcat 的 http://www.aliyun.com/zixun/aggregation/14417.html">Apache 模块. 该版本修复了属性文件的模板解析,处理了 Windows 的行结束符的问题. Apache::Deploy 0.5.1此版本修复了模板文件属性的解析.需要在属性文件Windows行结尾的进行说明. 使用示例: In your Rexfile use the following comman

Apache Hama 0.6.3 发布,并行计算框架

http://www.aliyun.com/zixun/aggregation/14417.html">Apache Hama 0.6.3 发布,该版本兼容 Hadoop 2,增加了基于 BSP 的机器学习算法.动态图形 API 等. Hama 是个计算框架,基于BSP (Bulk Synchronous Parallel大容量同步并行)计算技术,主要针 对大规模科学的计算.

Apache Arrow 0.4.1 发布,内存数据交换格式

Apache Arrow 是 Apache 基金会下一个全新的开源项目,同时也是顶级项目.它的目的是作为一个跨平台的数据层来加快大数据分析项目的运行速度. Apache Arrow 0.4.1 是刚刚发布的最新版本.包括自 0.4.0 发布以来,31 个已解决的问题. 发行日志和更新说明 下载地址: http://arrow.apache.org/install/ 文章转载自 开源中国社区[https://www.oschina.net]

Apache HBase 0.96.0 发布,分布式数据库

http://www.aliyun.com/zixun/aggregation/14417.html">Apache HBase 0.96.0 的发布距离 0.94.x 版本已经超过一年了,因此我们建议用户升级到这个版本.该版本修复了超过 2000 个问题,同时大幅提升了稳定性.可操作性以及伸缩性.详细介绍请看发行说明. HBase – Hadoop Database,是一个高可靠性.高性能.面向列.可伸缩的分布式存储系统,利用HBase技术可在廉价PC Server上搭建起大规模结构化存

Apache::Deploy 0.8.0发布 Tomcat的Apache模块

Apache::Deploy是一个http://www.aliyun.com/zixun/aggregation/14417.html">Apache模块和WAR文件配置到Tomcat服务器的工具.它简化了多台服务器的部署过程. Apache::Deploy 0.8.0版本添加了对Windows的支持. 使用示范:(https://github.com/krimdomu/rex-apache-deploy) 在你的Rexfile文件中使用以下命令,建立一个软件包: use Rex::Apa

Apache::Deploy 0.7.0发布 Tomcat的Apache模块

Apache::Deploy是一个http://www.aliyun.com/zixun/aggregation/14417.html">Apache模块和WAR文件配置到Tomcat服务器的工具.它简化了多台服务器的部署过程. Apache::Deploy 0.7.0版本增加了对Coffeescript, Sass和Sprockets支持. 使用示范:(https://github.com/krimdomu/rex-apache-deploy) 在你的Rexfile文件中使用以下命令,建