XSKY借助英特尔SPDK提升Ceph性能

NVMe是新一代的PCIe固态硬盘接口规范,其目的是统一主流厂商的SSD接口交互标准,并更好的对上层系统释放效率潜能。NVMe标准的倡导者包括英特尔、三星、美光、Oracle、微软、Dell、HGST、希捷等行业领先企业,2014年11月发布版本1.2标准。

市售的基于NVMe硬盘动辄可达到单盘GB级的读写带宽和十万量级的随机IOPS,为SATA固态硬盘的5~10倍。然而,由于Linux内核驱动实现与调度机制的限制,主流的软件定义存储系统并不能完全释放其性能,同时,对CPU等系统资源消耗巨大,为构建融合存储系统带来挑战。

继为SDN和NFV领域带来福音的DPDK之后,英特尔于2015年9月开始,逐步将为NVMe等新一代存储规范优化的Linux性能工具包SPDK(Storage Performance Development Kit)对合作伙伴与社区开源,试图将Linux用户态存储服务程序与底层硬件设施打通,大幅度缩短IO路径,充分利用无锁机制,为NVMe等新一代的存储介质打通软件层瓶颈,使其能够在有限的系统资源消耗下支撑关键业务存储系统足够的带宽和延时要求。

如同DPDK一样,SPDK作为开源的代码实现,并不仅仅支持英特尔品牌的闪存设备。它面向整个基于Linux平台的软件生态系统,为业界“软件定义存储”(SDS,Software Defined Storage)提供了又一性能与架构利器,势必影响深远。

作为开源软件定义存储的首选系统,Ceph长期以来就其计算资源占用率和性能方面,虽不断提高,但在闪存环境下仍难觅突破性进展。顺应业界趋势,将SPDK的支持在Ceph中实现势在必行。

XSKY(星辰天合)是国内SDS初创企业,其团队在Ceph开源社区代码贡献量在全球行业内领先。作为英特尔在中国的首批SPDK合作伙伴之一,XSKY率先将SPDK与Ceph用户态文件系统BlueFS整合,大幅度提高Ceph在NVMe介质上的落盘效率,相较于此前的NVMe公版内核驱动,数据落盘模块性能提升在20%以上(在英特尔 P3700 SSD上已测试验证)。结合Intel DPDK后,性能达到双倍提高。随着对Ceph上层模块的优化,可以期待整个系统更好的性能表现。

该创新实践已得到Red Hat方面Ceph社区领袖Sage Weil等人的认可,XSKY已将此部分代码贡献到开源Ceph主线,并承诺持续对此部分进行整合优化工作,推动该技术在实际生产环境中的应用。

本文转自d1net(转载)

时间: 2024-11-05 08:02:14

XSKY借助英特尔SPDK提升Ceph性能的相关文章

华大基因借助英特尔微异构加速基因测序

基因测序,一直就是科学家不断地孜孜追求破译生命遗传信息的关键方法,而其海量.复杂.多变的http://www.aliyun.com/zixun/aggregation/14206.html">数据计算需求一直是横越在前行道路上的一道鸿沟.随着多年来超级计算机的不断发展,高性能计算在基因测序发展上发挥了重大的助推作用.而作为中国首屈一指且世界知名的基因研究机构--华大基因,其借助高性能计算优势在基因测序相关研究及应用上作出了令人瞩目的成绩,而其在全新基于英特尔微异构架构的高性能计算平台上的测

英特尔SSD在IO性能达到恐怖1M的IOPS

近几年业内热炒的http://www.aliyun.com/zixun/aggregation/15579.html">固态硬盘的应用在本次英特尔IDF秋季大会上也有涉及,昨天,英特尔在会场上向观众展示了其最新的SSD技术,装在一台至强双路服务器上的7块SSD硬盘经过测试每秒输入输出性能达到了恐怖的1M(1M=10的6次方,即100万) IOPS,虽然此前人们已经见识过了SSD在IO性能上与现有HDD硬盘相比的性能提升,但像此次数个数量级的性能优势还是第一次看到,这更加让人们坚定了SSD是

英特尔热衷超薄笔记本性能超过上网本

7月17日消息,英特尔公司首席执行官保罗·欧德宁(Paul Otellini),于周二的财务分析师电话会议上称,价廉物美的超薄笔记本将给用户带来上网本所不具备的功能.该公司近日在各种会议上也一直重申此问题. 据国外媒体报道,在人们对笔记本不断了解的情形下,英特尔公司继续在笔记本领域中尝试新的突破.超薄笔记本是一种低成本的笔记本电脑,通常配备13英寸的显示屏,使用英特尔的超低电压(ULV)芯片.而普通上网本的显示屏通常不超过11英寸,并使用英特尔公司的低成本.低性能的凌动处理器. 欧德宁表示,超薄

英特尔ToddBrady:环保是IT业机遇寻商业模式

CNET科技资讯网 4月8日 北京报道(文/梁钦):Todd Brady,这个在外界看来有些陌生的名人,他只做一件事,那么这一件事就是让英特尔变得更绿色.也正是因为这一件事,让他成为<科学美国人>杂志2009年全球科技领袖第一名.全球科技首富比尔·盖茨排在第六名,美国总统奥巴马列第十位. 在位于CBD嘉里中心酒店一层的咖啡厅中,CNET科技资讯网和ZDNET至顶网记者见到了这位传奇人物--英特尔全球环境经理Todd Brady.英特尔全球环境经理Todd Brady接受CNET科技资讯网和ZD

英特尔Michael Greene:联合Ceph社区和合作伙伴,推动存储性能优化提升

 [51CTO.com原创稿件]在数字化时代的今天,高速增长的数据给企业存储带来了诸多的挑战.根据IDC预测,截至2020年,全球数据量将以每两年翻一番的速度增长至44ZB.随着数据量的增大.数据源增多,以及云计算.大数据等创新技术的日益普及,传统的专用存储设备设施已经不能满足企业数据容量迅速扩张.性能线性扩展等各方面的需求,并成为企业挖掘.利用数据的价值过程中的瓶颈.为实现高性能.低成本的存储服务模式,拥有统一存储能力,并在可扩展性.可靠性.性能.自动化维护方面具备独特优势的Ceph存储解决方

实现存储现代化 英特尔加速Ceph在企业中落地

Ceph是一个开源的分布式.高度可扩展的块.对象和文件存储平台,可用于部署公共或私有云,成为全球最火热的开源分布式存储社区.在中国Ceph的发展也是比较迅猛,开始与不同领域.不同行业的客户系统相融合,Ceph用户生态不断完善. 近日,在英特尔公司的大力支持下,2017 Ceph Day再次来到北京,旨在为中国企业软件开发人员搭建一个了解.学习和交流开源存储技术的平台,并进一步推进Ceph在中国市场的技术创新与应用发展. 英特尔公司软件与服务事业部副总裁兼系统技术及优化部门总经理Michael G

英特尔+Ceph加速企业存储现代化的有效利器

 2017年6月10日,北京--在英特尔公司的大力支持下,2017 Ceph Day再次来到北京,旨在为中国企业软件开发人员搭建一个了解.学习和交流开源存储技术的平台,并进一步推进全球最火热的开源分布式存储项目Ceph在中国市场的技术创新与应用发展.活动上,包括英特尔公司软件与服务事业部副总裁兼系统技术和优化部门总经理Michael Greene在内的技术专家.合作伙伴.最终用户莅临现场,并针对Ceph技术的创新.社区与生态系统的建设,以及在中国市场的落地应用等内容进行了分享与探讨. 2017

英特尔不再注重新一代芯片的性能提升?

你还在热情关注 PC 领域吗?如果是,你希望下一代 PC 处理器提供什么样的性能或能效?说实话,对于那些还在关电脑领域的爱好者,在更强的性能.更低的功耗或更长的使用续航时间这些话题之间,常常进行各种有趣的讨论乃至争论,而且从最初英特尔与 AMD 那个相互竞争的年代就已经开始了. 今天,AMD 显然已经不再节奏上了,所以爱好者讨论最多的是英特尔处理器的发展,并认为代表了未来桌面 PC 芯片的风向标.不过,没有外部竞争的压力,英特尔似乎很难逼自己更快的进步,最明显的标志就在于,其 14 纳米的芯片竟

宋继强详解英特尔AI战略布局,三大引以为豪的技术优势 | 新智元峰会演讲PPT

3月27日,新智元2017开源·生态AI技术峰会盛大召开.这场中国"AI春节"由新智元携手英特尔联合举办.就在峰会召开的前几天,英特尔对外宣布组建了一个超级AI部门,而此前英特尔收购Mobileye的消息也引发业界震动,可以说今年英特尔对AI的关注达到了一个新的高点.而英特尔在产业里拥有端到端的独特优势,提供从服务器.开源平台到云计算的全方位解决方案,因此,英特尔的动向也是今年中国AI界值得关注的焦点. 在新智元"3·27"AI技术峰会上,英特尔中国研究院院长宋继强