Intel张建:优化Ceph效能的最佳实务技巧

2016年8月5日,全球开源领导厂商红帽携手ZD至顶网、Intel、云达科技共同举办的主题为“开放 融合 开源开启存储新世界”的2016年中国开源企业存储峰会在北京富力万丽酒店隆重召开。在下午峰会上,Intel亚太研发有限公司云存储技术组高级软件工程师张建先生带来题为“优化Ceph效能的最佳实务技巧”的主题演讲。

张建表示Intel一直来为Ceph进行优化效能,包括结合最新的3D Xpoint内存技术的性能加速,包括在实际应用中优化压缩,加密、硬件卸载以及RBD缓存和缓存分层的优化,通过IA优化的存储库最大限度的减少延迟。Intel还参与了很多开源项目,做了很多性能分析以及工具,针对特定应用场景的优化,通过这种方式促进Ceph的正当发展。

以下是嘉宾的演讲实录:

张建:大家好,我是来自于Intel亚太研发有限公司云存储技术组的张建,今天给大家分享一下在优化Ceph效能的最佳实务技巧。

首先我会自我介绍一下。下面我会结合背景为什么做Ceph的优化,做这个有什么意义以及怎么做。有通用的部署以及指南。然后有一些案例,包括块、对象以及密集研发过程中的工具,然后通过我一些的特殊工具能够达到什么样的程度,我欧合作在哪里以及未来的机会在哪里。最后做一下Ceph的介绍和SMMARY的介绍。

第一个介绍——Ceph at Intel。这些应用,其实我们在Optimize做了一些,主要是基于Intel平台。比如做Compression, Encryption hardware offloads (QAT、SOCs)。这是第一。

第二是PMStore(for 3D XPointDIMMs)。第三是RBDcaching and Cache tieringwith NVM。第四是IA optimized storage libraries to reduce latency。

第二块是做了很多性能分析以及工具,通过这种方式促进Ceph的正当发展,还有一些针对特定应用场景的优化。

接下来是一些尝试,会有管理工具,比如CDN, Cloud DVR, Video Surveillance, CephCloud Services, Analytics。

然后是基于Intel的产品,做一些开源项目,希望尽快地达成方案。

为什么要对Ceph做各种的优化?通过前面的嘉宾发言能够了解到。广大客户看中Ceph的是蔓延性。但从应用角度来看,有一些复杂的地方,比如怎么对硬件进行配置等,这些都有一些不确定性。另外,运营系统里需要对超系统本身做东西。另外在几百个参数里怎么获得我的参数,以满足我的需求。

在我们介绍的具体案例分享中,看看Intel所做的大会,吸引了400多个人参加,系统上非常好。但同时也存在一些问题,比如右边的图(图),前三个的问题在哪里?(图)第一个是Performance,第二个是code complexity。第三个是Stability。

根据这些问题,做了一些方案。这个图是Ceph的投资架构图。(见PPT图:Ceph—General Community Deployment Practices)(PPT图:Available Ceph solution recipes)(PPT图:Intel solutions for Ceph deployments)

下面是具体的案例,会从这几个方向分享一下我们针对特定的传统做的各种方法。一个是Ceph Tunings。接下来看一下Ceph Block performance。(见PPT图Ceph Blocr perfomance—Test Results)。通过右边的图可以看到,前面的分别可以达到86%和90%的带宽,有一定的优化空间在里面。左边是Drop OSD Cache—Prepare Data (dd)—Run FIO,1.40GB Span。2.4 IOs: Sequential (W,R), Random (W, R)。3.400s test。4.Scale RBD images –1 to 120。

(PPT图:Ceph Block Performance –Tuning effects)

基于前面做的,我们做了优化,数据…5%左右。第二个是把原来的关掉,比较明显,大概有59%。做一些red hat。所以我们会去做一些。

接下来一块是针对对象。在这个节点我们使用了我们自己开发的工具,这种规模比较下,希望100高一点。我们做了很多。后来还有一个best 。接下来是我们做的重点是现在群。这个方面,大家可以看到没有任何性能的保留。参数设得比较高,可以看到在今天的对比下可以非常显著地提高运营系统。

当然还有很多优化空间在里面。

最后一块是基于上面的架构,为了保存数据,还是要去。所以在数据分析上,需要写一个。

这是对比(图),我们看一下对比图,我们做的,现在观察到的结果,有两倍。当然还有好多优化的地方。

最后一部分是CeTune。

第二部分是COSBench,可以到做很多应用。

最后一个VSM,这是2014年做的开源,产品化以后,OpenStack* Paris summit, designed to help lower the barrier to adopt Ceph.会提供不同的界面,The project earns a lot of interests from community, a few companies decided to adopt in production.

所以,第一点是越来越独到了。第二通过前面的案例分析可以看到,需要优化。第三ceph开辟新的领域,但还需要优化,进一步发挥出来。最后和Intel一起合作共同努力。

时间: 2024-11-10 07:23:54

Intel张建:优化Ceph效能的最佳实务技巧的相关文章

张建飞:SEOER必须知道的代码规范优化

一个好的网站结构可以更好的获得搜索引擎的青睐,众多SEOER将网站结构改为树状形式的,就以为这是一个好的网站结构了或者说是做好了网站结构的优化了,其实不然代码规范也属于网站结构优化的范畴.然而代码优化往往却被SEOER无情的给忽略或者说丢掉了.在此张建飞谈谈自己对代码优化的看法. 一.缩减代码 网页体积越小访问速度越快,这是众所周知的,同样对于搜索引擎也是一样的道理.访问速度越快,那么搜索引擎是不是会经常来呢,当然不可或缺的是网站要有东西来喂蜘蛛.那么我们应该怎么样去对代码进行优化呢? 首先代码

张建飞:浅谈网站URL规范优化

网站权重是SEOER们经常谈到的一个话题,在对网站进行优化的时候,大多数SEOER都会给网站做一个301重定向操作,以确定首选域,其实这个操作就是URL规范的一个表现.接下来张建飞和大家分享一下URL规范主要是从哪些方面进行优化. 首先进行对首选域的确定,如果是带WWW的域名作为首选域,可以利用301进行首选域的确定.确定首选域后,网址采用采用绝对地址,网站的目录名称可以采用拼音或英文来进行命名,同时也包含了相关的关键词,还有一个好处就是一看文件名就知道这个网页提供的是什么样的内容了.同样url

阿里2016开源盘点:CTO张建锋鼓励工程师积极回馈社区

73款产品开源,JStorm.RocketMQ.Weex三连捐Apache基金会,Weex在Github上Star破万.阿里云成为MySQL开源分支 WebScaleSQL 的发起成员--即将过去的2016年算得上是阿里巴巴集团技术开源的丰收年,基于阿里多年来大规模互联网应用的技术沉淀,这些技术开始反哺世界技术社区. 业内关于开源的讨论从未停止,而怀有开放.共赢基因的阿里本能地选择了开源的道路.阿里CTO张建锋曾多次在内部的工程师对话中谈到"开源推动着互联网技术的发展,没有开源,这个世界绝对不会

张建飞:浅谈网站收录与排名

网站收录是站长们经常谈论的话题,每天打开电脑就是检查网站收录.外链.快照以及排名情况.站长们都希望收录越多越好,特别是更新的内容是否被搜索引擎收录.张建飞就此谈谈的自己的看法. 首先纠正下大多站长们的观点"网站收录了就会提高网站权重"这句话无可厚非,本身是没有什么问题,但是也导致了很多站长的误解,于是便造成了采集内容.软件伪原创等不管内容质量的恶果.由于内容质量差,从而提高了网站跳出率.收录被删除,最终降低了网站权重,其最坏结果是导致网站被K.所以不能一味的追求收录,收录有质量的内容是

阿里加速“新能源”战略布局 集团CTO张建锋兼任阿里云CTO

1月13日,阿里巴巴集团CEO张勇发出全员信,紧扣"五新"战略宣布新的组织升级布局.阿里巴巴集团CTO张建锋(花名行癫)将兼任阿里云事业群CTO,阿里云各技术团队向他汇报,同时其在阿里云CTO的职责上向总裁胡晓明汇报,进一步整合资源.加速推进"新能源"战略布局. 在"五新"战略中,阿里云以国内领先的大数据云计算能力,无疑是"新能源"战略的担纲角色.张建锋的任命,正是意在执行面向IoT时代架构云端一体化的整体策略,不断推进大数据

阿里巴巴集团CTO张建锋兼任阿里云CTO

本文讲的是阿里巴巴集团CTO张建锋兼任阿里云CTO[IT168 云计算]2017年1月13日,阿里巴巴集团CEO张勇发出全员信,紧扣"五新"战略宣布新的组织升级布局.阿里巴巴集团CTO(首席技术官)张建锋(花名行癫)将兼任阿里云事业群CTO,阿里云各技术团队向他汇报,同时其在阿里云CTO的职责上向总裁胡晓明汇报,进一步整合资源.加速推进"新能源"战略布局. 在"五新"战略中,阿里云以国内领先的大数据云计算能力,无疑是"新能源"

阿里巴巴升级中台战略 任命张建锋为CTO

本文讲的是阿里巴巴升级中台战略 任命张建锋为CTO[IT168 云计算]新财年首日,阿里巴巴集团宣布调整组织结构,由张建锋(花名行癫)出任集团首席技术官(CTO). 阿里巴巴集团CEO张勇(花名逍遥子)在4月1日以全员信的方式宣布了这一消息.张建锋除了担任阿里巴巴集团首席技术官之外,同时还将担任集团技术战略执行小组组长.除继续带领原中台事业群团队外,技术保障部也将由张建锋负责,以形成技术中后台的合力. 原技术保障部负责人刘振飞(花名振飞)继续担任集团首席风险官(CRO),全力负责安全和信息平台工

浪潮&Intel共推基于Ceph开源社区的未来软件定义存储

6月10日,浪潮参加Ceph Days系列分享会北京站活动.依托智慧计算战略,浪潮坚持"开放"理念,联合Intel共同推进基于Ceph开源社区的软件定义存储(英文缩写SDS)技术创新与场景优化,布局开源云数据中心入口. 浪潮参加Ceph Days系列分享会北京站活动 坚持开放,浪潮壮大Ceph开源生态 Ceph是一个开源的分布式.高度可扩展的块.对象和文件存储平台,可用于部署公共或私有云,成为全球最火热的开源分布式存储社区.在中国Ceph的发展也是比较迅猛,开始与不同领域.不同行业的客

“新能源”担纲,IOT云端一体化,阿里集团CTO张建锋兼任阿里云CTO

2016年10月在云栖大会上,阿里巴巴集团董事局主席马云首次提出"五新"战略,即新零售.新制造.新金融.新技术和新能源将为各行各业带来重大机遇.2017年被称为阿里"五新"战略元年,其组织结构也迎来了三年内的最大升级.2017年1月13日,阿里集团CEO张勇发出全员信宣布:阿里组织结构新一轮升级,多名高管的重新任命和轮换对调,是为了以不断升级的高效组织带来强大的执行力,为"五新"(新零售.新金融.新制造.新技术和新能源)战略服务. 阿里组织结构升