横跨数据中心的JVM和Twitter的JDK

在2016旧金山QConf大会的解决方案进展情况报告会上,Twitter为我们呈现了一些演讲。昨天,Twitter的JVM团队对外公布他们正在开发、发布和维护一个JDK分支版本。这个JDK是OpenJDK的分支,在Twitter内部发行,目前可以支持OSX和Linux,每个月发布一次,如果有紧急版本会缩短发布时间。来自Twitter的John Coomes告诉我们,在如何对OpenJDK的特性进行趋异演化方面,Twitter所做的跟Oracle-JDK有些类似。当被问及Twitter是如何决定对上游OpenJDK的变更进行合并时,Coomes回答说,这个取决于要发布的特性,况且他们并不打算维护一个跟OpenJDK主干分支紧密耦合的版本。

Twitter-JDK带来一些新的特性,比如经过扩展的堆内存分析、异步垃圾回收日志、二进制日志框架Contrail、中间代G1、更丰富的API和命令行参数、性能改进以及缺陷修复。Twitter-JDK的一些改进特性也会被上游的OpenJDK所采用。

Coomes提到了在OpenJDK的JVM里存在的一些问题,特别是GC的长时间停顿问题。一种改进的措施是把I/O密集和对延迟敏感的任务分开执行。不过Twitter有成千上万个运行在JVM上的服务,对它们进行分离是个很枯燥的工作。我们可以在达到安全点时关闭JVM的I/O,不过这样会降低对JVM的监控能力。随着基于Python的服务逐渐向基于JVM的服务迁移,Twitter的JVM服务数量只增不减。Twitter正在通过实现异步GC日志和jvmstat来解决这些挑战所带来的问题。这样,GC停顿就不会再阻塞I/O。Coomes说之后将会发布Contrail,Contrail包含了一个JIT编译器和运行时,支持堆栈跟踪,可以作为实现异步GC日志的支持框架。Twitter-JDK实现了贝叶斯优化算法,这个技术借鉴自机器学习,让JVM可以持续高效地学习模糊成本函数,可以更快地找到更优的处理路径。

被问及Twitter-JDK的VM调优参数时,Coomes说大概有30个参数可以用来对VM进行调优。用来衡量VM性能的成本函数就是指在GC期间每秒可以处理的请求数。Twitter在测试环境使用这30个参数对新VM进行了70轮GC测试,结果在性能上有182%的提升。未来的工作将包括对VM进行压力测试或极限测试、更长的试验期、基于Mesos的并发试验以及及早探测并结束无效试验的能力。

查看英文原文:JVMs Across the Data Center and Twitter's JDK

本文转自d1net(转载)

时间: 2024-07-30 13:58:39

横跨数据中心的JVM和Twitter的JDK的相关文章

Twitter数据中心遭遇豆腐渣建筑被迫迁址

北京时间4月2日早间消息,据知情人士透露, Twitter原计划在2010年底启用犹他州的一座专用建筑,用作放置储存用户信息数据服务器的地点,但是现在该建筑的质量问题丛生,从屋顶漏雨到供电能力不足.显然将无法满足Twitter数据中心的最基本需要. 这一失败的建筑问题将直接影响到Twitter对于新产品的开发.虽说此前Twitter在5年之内就汇集了超过2亿用户,但是现在twitter必须为这些用户的信息储存寻找一个更加安全的设施. Twitter对数据中心的选址和搬迁也折射出了该公司正在经历成

玩转数据中心:Twitter复制谷歌成名秘密武器

&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; Twitter的本海因德曼 <连线>周二刊登了一篇署名为卡德梅茨(Cade Metz)的评论文章,借谷歌网络帝国最核心的软件系统伯格(Borg)分析了Twitter如何重建谷歌的秘密武器. 原文如下: 约翰威尔克斯(John Wilkes)说,加入谷歌就象是<黑客帝国>中的尼欧(Neo)吞下红药丸一样,那就是选择了觉醒. 4年前,威尔克斯只是

Twitter的跨数据中心图片存储系统Blobstore

Twitter一直没有自己的图片存储系统,此前系统从2011年6月开始内置采用http://www.aliyun.com/zixun/aggregation/16874.html">Photobucket的服务,另外,也支持Instagram等第三方图片应用上传到Twitter系统中.随着Twitter整体由开放转向封闭,切断第三方图片上传,同时自行提供图片系统是势所必然的. 12月11日,Twitter工程博客发表文章,介绍了9月份已经上线使用的图片存储系统Blobstore的底层架构.

Twitter解释全球宕机:两座数据中心同时停摆

http://www.aliyun.com/zixun/aggregation/17197.html">北京时间7月27日消息,据国外媒体报道,北京时间7月115.html">26日深夜(美国太平洋时间26日早晨),Twitter再次发生全球性宕机故障.Twitter高层事后解释,两座相互备份的数据中心同时出现问题. 在美国当地时间8点20分,Twitter网站瘫痪,直到10点25分恢复正常.部分用户怀疑这是否和周五将开幕的伦敦奥运会有关. Twitter负责工程技术的副总

RagingWire战略重点批发数据中心服务

据云狗互联报道:大部分的未来IT基础设施的大规模将批发数据中心和公共云服务,后者坐在那些批发数据中心的重要组成部分之间进行分割.道格·亚当斯,谁最近被任命为数据中心服务提供商RagingWire的总裁(他是以前在公司的高级副总裁),相信会有这两种模式之间的任何小房间,像托管或管理服务.将有一侧纯云和其他的纯批发的数据中心网站托管服务,他说,是不是一个成功的典范.这就是为什么RagingWire,由日本电信巨头拥有多数股权NTT通信,将赌注押在批发数据中心服务,其新的战略重点. 该数据中心服务en

英特尔至强处理器E5-2600 v2现代数据中心的核心

全世界的 IT 企业正在努力实现数据中心的虚拟化和自动化,希望藉此帮助他们的业务实现更高的价值和降低成本,以更快和更高效的方式交付新的数据驱动型服务.基于英特尔® 至强 处理器的服务器为实现此创新奠定了基础.这些服务器在当前虚拟化中心和云环境中的所有服务器中占绝大部分的比例,而且能够为大多数具备最高性能的工作站提供支持. 性能提升多达 35% 英特尔至强处理器 E5-2600 v2 产品系列相比前代在内核数量和高速缓存容量上都增加了 50%,同时支持速度更快的内存并专为虚拟化额外提供了硬件增强特

数据中心自动化初创企业Puppet Labs获850万美元融资

数据中心自动化初创企业http://www.aliyun.com/zixun/aggregation/13494.html">Puppet Labs在C轮融资中获得新投资者思科.Google Ventures及VMware的850万美元资金.此前的投资者凯鹏华盈.True Ventures.Radar Partners等亦参与了此轮风投.Puppet Labs总融资额已达1600万美元. Puppet Labs为企业和云提供系统管理及数据中心自动化软件.该公司的旗舰产品Puppet是一款开

Apache Mesos和数据中心操作系统的崛起

本文讲的是Apache Mesos和数据中心操作系统的崛起,[编者的话]本文是Mesosphere公司的工程师对他们公司产品DCOS的介绍,也顺带介绍了Mesos的架构和功能以及Mesos的init框架Marathon和Cron框架Chronos. 罗杰伊尼亚齐奥是Mesosphere的基础设施自动化工程师和"Mesos实践"的作者. 感谢曼宁出版的团队的慷慨,SysAdvent读者在在https://manning.com/books/mesos-in-action使用代码"

深入浅出Mesos(一):为软件定义数据中心而生的操作系统

我讨厌"软件定义数据中心(SDDC)"这个词,并不是因为我质疑这个概念,而是我发现很多公司都对这个词有误用,他们甚至直接把这个词拿来套用,并急于把自己定位为下一代数据中心的创新者.具体来说,我认为,在商用x86硬件上运行软件(应用)并不是什么SDDC解决方案,它也不具备虚拟化硬件到资源池的能力.真正的SDDC底层基础架构应该可以从运行于其上的应用程序中抽象出来,并根据应用程序不断变化的需求,动态且自动地分配.重新分配应用程序,然后运行于数据中心的不同组件之中.这就是为什么我一直兴奋地要