在企业级存储界,Nimble和Nutanix虽说比起EMC、IBM、NetApp来说是十足的新秀,但在国内的名气却一点也不小。而这背后的原因,在于有着软件定义存储越来越受到企业数据中心的重视。同样是初创,但有着完全国产化血统的凯翔科技,却将Nutanix和Nimble的合体作为自己的核心竞争力。
Nimble + Nutanix等于什么?
也许,若不是软件定义存储开始成为企业存储的顶梁柱,Nimble和
Nutanix之类的公司依旧会籍籍无名。软件定义存储旨在倡导通过将存储设备的数据平面和控制平面解耦,让用户的存储控制策略可以无视下面具体的存储差异,通过软件将不同硬件提供存储空间建立统一的存储池,实现灵活的资源调用。显然,软件定义存储的践行思路非常好地迎合了云计算、大数据时代当下企业存储需求,也让Nimble和
Nutanix之类的公司可以有机会抢食传统存储巨头的饭碗。
推动软件定义存储的两个主要趋势是横向扩展和闪存。由于软件定义存储会提供统一的存储空间池,就需要存储性能的提升将会更多地依靠存储软件对硬件资源的更好优化,也意味着硬件存储空间的拓展与性能提升呈同比态势。而闪存的利用则是软件定义存储里通过介质特性改变存储架构的典型玩儿法,例如考虑用SeverSAN方案替代传统阵列方案、数据库加速等等,甚至HDD时代的在线压缩、重删等功能也可梦想照进现实。
Nimble和
Nutanix正是推动软件定义存储领域里的激进主义者。前者注重用户从传统存储架构向软件定义存储架构的过渡,不强求用户的冒进,如帮助用户实现在HDD+SSD的混合环境部署软件定义存储。毕竟,对有些企业来说一次性上马全项目的闪存环境成本上还是吃不消的。而Nutanix注重在数据中心领域的存储性能的现行拓展,并强调
“隐形数据中心”,即用户对于存储架构的调整优化无需感知。
在通往软件定义存储的大路上,Nimble干着路上的事儿,Nutanix做着到达终点的活儿。而这一切,凯翔科技就能全包了,也许算得上是国内第一家软件定义存储端(路上的事儿)到端(终点的活儿)服务商。
那么,凯翔有什么技术傍身?
横向扩展:虚拟机热迁算啥,容器的热迁移更不是事儿
虚拟机热迁移功能允许IT专业人员将运行中的虚拟机从一台主机迁移到另一台主机,不再需要暂停时间。虽说三大主流供应商都提供了各自虚拟机热迁移功能,但彼此在过程上存在不小的差异。为此,凯翔提供了为异构环境搭建的统一的虚拟机的热迁移平台。
如果说异构平台的虚拟机热迁移技术已经不算新鲜,毕竟如华为、华三的国产化代表早已有大量案例。但容器的热迁移技术可是鲜见,即使在整个业界也是如此。据上海凯翔信息科技有限公司高级副总裁董晟介绍,凯翔同时提供了容器的热迁移技术。“容器原来是无状态的,接卷的话,就会产生网络上的一些问题,此前VMware或者OpenStack的热迁移也是主要解决类似问题,凯翔做了能够做自动热迁移容器的技术。”
SSD使用的优化
1、比磨损均衡更加智能高效的弹性纠删码
纠删码技术是继多副本之后出现的兼顾数据可靠性和节省存储空间的存储技术。传统的三副本技术需要一个文件同时又两个副本,若是做集群的冗余,副本还会更多,如此前TFS需要6个副本。这在大数据时代,显然是无法接受的。同时,闪存提供的远甚于HDD的快速存取也在推动传统存储方式的改变。
纠删码技术通过对提取一定数量的数据分块,计算校验产生校验块,并与原始数据块共同存储,即用N个原始数据块+K个校验块共同存储。在部分数据块或校验块丢失的情况下,可以通过计算恢复原始数据。如总数10块磁盘可以容忍4块磁盘损坏,系统仍然可用。虽说纠删码的特别之处在于容错率可设定,但却往往缺乏灵活的可变机制,
董晟介绍,凯翔的弹性纠删码技术有一些更灵活的地方。“当开始用全新盘阵的时候,K的值会比较小,随着读写次数的增多,我们会自动扩大K的值,从而可以把数据分散到更多的地方存储,从而更有效地保证SSD的使用寿命。”
听上去,这有点类似于闪存控制器提供的磨损均衡操作,但控制器是通过保留名单记录被移动的数据位置。显然,凯翔的弹性纠删码技术会比磨损均衡操作在提升闪存平均寿命上更加简单、高效。
2 、引用AVX指令集加速纠删码运算,纠删码落地变容易
纠删码技术虽说比多副本技术有着诸多优势,但推广起来却不易。纠删码技术在存储领域还较新,理论上可以达到的效果较好,但实际产品中还缺乏大量应用。例如,纠删码技术需要通过源数据块计算校验块,为此有着较大的计算负担。纠删码的实时编/解码运算对于服务器CPU来说将是一个比较大的占用,在分布式应用架构中,这意味着将影响应用本身的性能在解决这方面的问题时。纠删码在引出使用问题的同时,业界也有着两个比较大的突破方向。
一个是CAPI技术的引入。以往用于专用计算的协处理器都是以IO挂载的方式与CPU协同计算,由于无法与CPU共享内存,导致协处理器无法发挥本应强大的计算力。OpenPOWER联盟提供的CAPI技术很好地解决了这一问题。为此,很多厂商都投入到了CAPI+FPGA的加速卡设计中。通过CAPI技术,引入FPGA加强纠删码的计算能力成为可能。但是CAPI技术基于OpenPOWER处理器,,成本上对于纠删码的推广不利。
另一个,就是利用x86架构下的AVX技术,凯翔正是这一领域的代表。AVX指令集的出现对于原有的X86指令集进行了优化与重新组合--这主要源于AVX指令集新的操作码编码方式。AVX指令集的编码方式叫做VEX(Vector
Extension),其主要用途是缩短指令长度,降低无谓的代码冗余,并且也降低了对解码器的压力,实现的方式也很特别--压缩各式各样的Prefix前缀,集中到一个比较固定的字段中,从而达到了精简指令集的目的。传统存储的功能由于相对简单,不需要x86的CPU,但在软件定义存储时代,Intel
CPU在存储端才有了更好的用武之地。
另外,凯翔也将AVX指令集提供的计算加速优势用于可变长的在线数据重删。
3、独创的差额的计算编码,比纠删码更省时间,远程读盘者的福音
董晟介绍,考虑的远程用户的读取需求,现有纠删码措施还是有优化空间的,而这就是凯翔提供了独创的差额的计算编码方式。
“还有一个我们有自己的叫做差额的计算编码方式,能够减少很大程度的减少这个读取的时间。利用差额算法来算,无需像纠删码那样需要读取所有的数据,自然减少了大量时间。在一些场合的话,提高率30%-50%的性能都有可能的。”
4、为何要将HDD元数据迁移至SSD
毕竟,全闪存的门槛还是太高,否则Nimble也不会紧抓住混合存储的空间不放。随着时间的推移,新老存储巨头都有了混合存储的文章。但是,在HDD与SSD的使用上,无外乎两种,或是将SSD作为率先的热数据存储(比如DELL、HPE、华为),或是将SSD作为事后的热数据存储(比如同有)。其中,戴尔提供的在不同闪存间的流动存储更是在此基础上的微创新。或许,在混合存储上做冷热数据文章留给凯翔的机会已经不多了。
但是,凯翔却率先实现了将HDD元数据迁移至SSD的混合存储的新型应用道路。这是怎样的一种创新呢?
上海凯翔信息科技有限公司CEO张涛介绍:“由于大家知道每次访问都是率先要访问元数据,但磁盘消耗时间比起SSD是有更大的消耗。由于元数据通常很小,为此,我们把它全部搬迁到SSD盘以后,通过在SSD上读取HDD上的元数据,可以明天提升HDD的读取性能。”另外,张涛介绍这项技术牵涉到了针对Linux内核的更改,“通过这样的优化以后,你就发现对于读BI、经营分析类这种小文件,有时候会提到50%以上。
举个例子,我们便不难发现这种创新的实际需求所在。例如,我们去图书馆借书,原有方式是在一个大的卡片架子上检索书目--在磁盘上读取元数据,然后再去找到所需要的书--在磁盘上取需要的数据。如今检索书目是在电脑上了--元数据迁移至SSD,找到所需要的书的过程依旧。显然,将HDD元数据迁移至SSD还是有其实际意义的。
支持研发和测试环境 Docker和CloudFoundry
对于在研发和测试环境的应用,张涛介绍凯翔支持Docker和CloudFoundry的应用。作为开源领域的两大利器,凯翔将坚持二者的持续集成和持续发布。“例如容器,因为它本身有一个访问卷这一层的功能,我在卷这一层的功能来进行支持它。我们并不是去比较深入的改造它的CloudFoundry里面的代码,我们尽可能在他的接口层这一块来支持它,这样的话就是说将来它升级,对我的影响会很好。”
总结
软件定义存储存储的市场蛋糕正在越来越大,国际知名研究机构Wikibon2014年预测,十年后,全球企业级领域软件定义存储市场将达到400亿美金,未来十年复合增长率将达到41.5%当软件定义存储趋势已经不可逆,凯翔有幸成为了趋势的一部分。
软件定义存储的趋势不仅是国产化存储趁势崛起的一次很好契机,更是对自己创新方面的明确指导。放在应用场景下,我们还期待着凯翔在SDD上的优化、扩展性的支持、虚拟化发面的集成的更多努力,以及更多的落地。
本文转自d1net(转载)