JStorm 2.2.1 版本正式发布

Jstorm 2.2.1 目前已正式发布,用户可以自行前往https://github.com/alibaba/jstorm/wiki/Downloads 下载体验。

性能优化

对比2.1.1和去年的双十一版本0.9.8.1有200%~300%的提升。在高并发和低并发的多个测试场景(word count)中,是Flink性能的120%~200%,是Storm的300%~400%。

JStorm主要从以下几个方面对性能进行优化。

  1. 重构batch的实现方案
  2. 优化序列化和反序列过程,减少cpu和网络消耗
  3. 优化消息关键路径和metrics的cpu开销
  4. 优化网络接收和发送端的处理策略
  5. 增加disruptorQueue的异步batch操作

众多新特性支持

  1. 加入新的snapshot exactly once(只处理一次)框架。

    • 对比原有的Trident解决方案有着数倍的性能提升。同时可以减少用户在回滚的过程中的处理逻辑。
    • 同时支持at least once(至少处理一次场景)。对比原有的acker机制,可以减少acker的消息处理开销,同时在高吞吐的场景中可以大量的减少acker消息占用的网络带宽。以提高任务性能。
  2. 完成JStorm on yarn支持。
    • 现在JStorm可以实现快速的集群部署,以及集群的扩容和缩容。有效的提高集群资源的弹性和利用率。
      3, 重构backpressure设计,支持stage by stage的流控模式。
    • 当前的设计更加轻量,让backpressure在流控开启和关闭时更加高效。
    • 性能和稳定性对比原因的方案有着很大的提升。
  3. 引入Window API。
    • 支持tumbling window,sliding window
    • 对应的window支持count和duration 模式
    • 支持window的watermark机制
  4. 引入对Flux的支持
    • Flux是帮助创建和部署storm拓扑的编程框架及通用组件。帮助用户更方便创建及部署JStorm流式计算拓扑的编程框架
  5. 通过maven shade的方式,对一些容易冲突的依赖包做shade。以解决jstorm依赖和用户依赖之前的冲突问题。
  6. 优化Shuffle grouping方案
    • 合并shuffle, localOrShuffle和localFirst。根据任务情况自动适配。
    • shuffle时会根据下游节点的负载情况,做shuffle。以达到负载均衡。
  7. 增加Nimbus的黑名单机制。
  8. 增加Trident对消息batch模式的支持
  9. 支持集群的全局配置推送
  10. supervisor info和心跳中增加了buildTs,便于区分出集群中是否存在不同版本的supervisor
  11. nimbus和supervisor通过ext模块来支持外部插件
  12. 添加elastic search 5.11的支持, 感谢 @elloray 的PR

众多改进

  1. 重构nimbus metrics 框架,将原TopologyMetricsRunnable打散成事件驱动
  2. 重构Topology master的处理逻辑。改为事件驱动。提高Topology的处理性能。
  3. 重构example 代码, 增加大量example和测试用例
  4. 默认禁用stream metrics以及其他特定metrics,以减少发送的数据量
  5. 本地模式下启用metrics
  6. gauge的实现,由每分钟单值,改为每分钟采样多次计算平均值
  7. 引入了一种近似计算的方式来计算histogram的值,以减少内存开销
  8. 增加了Full GC以及supervisor中网络相关的metrics

Bug 修复

  1. Fix 消息的乱序问题
  2. Fix supervisor上有大量的zookeeper连接的问题
  3. Fix task初始化时,deactivate的错误调用
  4. Fix spout并发高时,少量消息rootid重复,导致消息失败的问题。
  5. Fix 本地模式的一些bug
  6. Fix logwriter的bug
  7. 修复了task metrics中RecvTps, ProcessLatency没有合并到task的bug
  8. 修复了AsmCounter在flush时的线程同步问题

企业级互联网架构Aliware,让您的业务能力云化:https://www.aliyun.com/aliware

时间: 2024-12-02 08:03:09

JStorm 2.2.1 版本正式发布的相关文章

ThinkPHP3.2.1版本正式发布了,马年码农们的福音

在这个特别的日子里, ThinkPHP3.2.1版本http://www.aliyun.com/zixun/aggregation/18782.html">正式发布了,祝马年码农们元宵节情人节快乐啊^_^ 在继此前发布的3.2.0版本对ThinkPHP的架构作出重大调整之后,ThinkPHP3.2.1版本在修正一些BUG后,着重优化了性能,并提高了 易用性,同时也增加了不少的扩展功能,是一个比3.2.0版本更加 稳定.安全.高效以及易用的版本.强烈推荐升级. [ 更新 ] 相对于3.2.0

中移动“大云”获商用机会 1.5版本正式发布

(吉利/文)11月2日消息,日前,中移动"大云"1.5版本正式发布.另据透露,"大云"目前已经获得商用机会,将在广东.天津等地开始公有云和私有云的规模化建设,并逐步提供商用服务. 中移动"大云"1.5版发布 在加速云计算战略布局方面,中国移动进展显著,并于11月1日正式推出"大云"1.5版本.它涵盖了5大产品领域:海量数据管理和分析.弹性计算和存储.交易系统.云计算PaaS分析平台和管理系统. 实际上,自2007年起,中国移动

SiteServer Service 服务组件V1.1版本正式发布

硅谷网讯 SiteServerService服务组件是专为大型网站开发的底层功能组件,自动运行与系统相关的各种任务,如定时生成.定时发布.定时采集.定时备份等. SiteServerService服务组件独立安装部署在服务器中,用于实现各种需要不间断执行的任务,SiteServerService服务组件在服务器启动之后会自动运行,即使关闭网站的情况下也可以不间断执行任务. 经过长时间的研发与改进,SiteServerService服务组件V1.1终于在2013年6月5日面向市场正式发布,用户可以

注重高效与稳定 Discuz!NT 3.0 版本正式发布

中介交易 SEO诊断淘宝客 站长团购 云主机 技术大厅 最新消息,中国最大的互联网社区平台及服务提供商康盛创想(Comsenz)旗下的核心社区产品Discuz!NT 最新版本3.O于8月27日正式发布.历经数月的研发与测试,Discuz!NT 3.0在系统架构.UI设计和API等方面进行了大胆革新,正以崭新的面貌与广大社区用户见面. Discuz!NT 3.0 版本针对SQL Server 2005/2008的新特性做了存储过程的全面优化,解决了以前版本存储过程因SQL Server2000语法

ComponetOne 2014 v3版本正式发布

2014年11月18日---ComponentOne Studio Enterprise 2014 v3版全球正式发布.ComponentOne Studio Enterprise是世界知名的Microsoft Visual Studio的数据处理和UI 控件的套装,包括 Windows Store, Windows Desktop 和HTML5. 新版本主要集中于优化性能,丰富数据分析功能,以及为软件开发人员和架构师提供最前沿的Web 技术. 由于开发人员一直在寻找使用Angular JS 和

Xampps 1.9.1 系列版本正式发布

xampps为windows下界面控制的wamp环境包, 一键集成apache php mysql phpmyadmin等工具,方便用户快速学习与使用php语言. 支持在线编辑配置文件, 一键重启, api交互, 在线小工具, 网页截图等常用的互联网需求功能. 在线压力测试工具采用apache ab工具, 方便用户进行站点压力测试, 工具集成了目前市面上最人性化的升级功能, 用户可以在多个版本组件中无限切换. 选择合适自己的才是最好的. 工具集成pear功能, 将工作全部转为界面化. 安装, 升

变身小清新 LBE安全大师4.0版本正式发布

科技为先,技术为王.近日,LBE安全大师发布了4.0正式版本,新版本对LBE安全大师的独门秘技主动防御技术进行了升级,使其能够支持Android4.1.1系统,而全新的通知栏快捷方式更让用户无需进入软甲页面即可进行便捷操作.值得注意的是,LBE4.0新版本不仅将防护技术做到了极致, 重新设计的界面也让 人眼前一亮,简约实用的清新风格使得LBE安全大师4.0版本更便于使用.新UI 新体验现今各种应用程序都将用户体验作为软件开发阶段的首要考虑因素.LBE安全大师4.0版本的UI设计显然顺应了这一潮流

[ExtJS5学习笔记]第二十八节 sencha ext js 5.1.0发布版本正式发布 extjs doc下载地址

本文作者:sushengmiyan ------------------------------------------------------------------------------------------------------------------------------------ 官方博客发布了这个新版本说明,英文文章请戳下面 http://www.sencha.com/blog/announcing-sencha-ext-js-5.1/ 翻译版本请戳下面: http://e

OpenSSH 7.5维护版本正式发布

OpenSSH是跨平台和100%开源的SSH 2.0协议,在今天的升级中版本号升至7.5版本,和2016年12月的OpenSSH 7.4版本相隔三个月时间.OpenSSH 7.5维护版本更新中修复了两处重要的安全问题,实现了对"=-"语法的支持,从而在算法列表中能够更轻松的移除方法,并修复了大量报告的BUG. 在今天的声明中写道:"本次发布版本拒绝sshd_config UsePrivilegeSeparation选项,因此要求强制划分权限.权限划分已经默认激活使用15年时间