《玩转ECS云服务器》第一期:走进块存储产品

11月23日,阿里云弹性计算产品经理崆闻在培训上为大家做了《玩转ECS云服务器》系列培训第一期《走进块存储》的分享。在本次分享中,他首先分析了数据类型和业务场景,接着介绍块存储产品的基本特性和选型,最后重点分享了块存储的数据保护技术、多副本技术和快照。下面是本次分享的内容整理,如下。

 

直播回顾视频

 

玩转ECS云服务器系列课程,会带您深入了解实例、块存储、镜像等相关ECS子产品的产品特点和基本使用方法,帮助您在上云旅途中迈出坚实的第一步。

 

云服务器ECS是阿里云提供的一种基础的云计算服务产品,您可以根据实际业务需求,随时创建所需数量的云服务器实例,并在使用过程中随着业务的不断变化,对云服务器进行资源扩容、升降配置、资源释放等操作。

 

云服务器ECS本身是虚拟化的计算环境,包含CPU、内存、操作系统、磁盘、带宽等一些最基础的服务性组件,是ECS提供给每个用户的操作实体。

 

业务场景和数据类型分析

常见的企业级应用中,对存储分别会具有哪些不同的性能、容量、数据服务等方面的要求呢?在坐标轴中可以看到:

  • 纵坐标向上意味业务更偏向性能,比如核心数据库;纵坐标向下意味业务更偏向容量,比如公安的视频监控;
  • 横坐标是数据服务的丰富性,存储的本质就是对数据的一种服务,不管将数据存放在本地硬盘、磁带、云上,存储数据本身不是目的,如何更好的使用数据才是王道。

在使用过程中,需要对数据作保护,像数据备份、数据容灾、数据压缩、重复数据删除、大数据分析等。从这两方面来看,我们可以对常见的企业级业务做分类,在坐标图的右上区域,ORTP数据库、ERP等类型的应用都偏重于性能,都是小块的随机或顺序读写,属于典型的数据块存储,同时有一定的数据服务要求,比如核心业务数据的日常备份,核心业务的同城或异地容灾等;坐标轴的左上区域,可以看到开发测试、高性能计算、数据仓库等偏向性能的应用,相对而言,它们对数据服务的需求比较少;同理,医疗影像、海量视音频业务是偏重容量的业务,数据量在数十甚至上百TB,且有一定的数据服务要求,而归档业务、视频监控等容量业务对数据服务的要求也较少。

数据类型分析

不同的业务类型,他们的数据结构、IO类型、访问模式、成本都不尽相同。

数据结构:有类似于典型DB应用的结构化数据,有类似于视频监控、医疗影像等的非结构化数据;

IO类型:有注重随机读写的、对延时敏感的应用,也有偏重于高吞吐的应用;

访问协议:有标准的proxy接口,也有广泛应用的RESTful接口。

按照业务的不同,数据含金量也是不同,对成本的要求也是不同。

 

对于林林总总的数据存储要求,阿里云当前提供了丰富的存储产品来满足用户需求。主要包括以下五个产品:

  • 块存储:可弹性扩展、高性能、低延时、高可靠的块随机存储
  • 文件存储:无限扩展、多共享、标准文件协议的文件存储服务
  • 对象存储:海量、安全、可靠的云存储服务
  • 表格存储:NoSQL数据存储,提供海量结构化数据存储和实时访问
  • 归档存储:海量数据长期归档、备份服务

所以可以看出,大部分的随机读写、有一定时延要求的,推荐使用块存储产品;其他的非结构化的海量数据,根据吞吐时延的要求和访问模式的不同,推荐使用NAS/OSS或一些归档服务来满足要求。我们了解了不同业务对应的适用的阿里云存储产品。

 

块存储产品介绍与选型

块存储产品可以简单理解成物理服务器上的硬盘,使用方法与自建数据中心的操作模式是一样的,分区、格式化操作一样不可少。阿里云上的块存储产品有以下特点:

  • 低时延:本地盘单个IO时延在2ms以内,云盘时延根据产品类型不同一般在2ms~10ms。
  • 持久性:云盘本身是可以独立ECS实例单独存在的,在使用过程中可以为实例单独进行新增、减少云盘数量,无论云盘本身是否挂载在ECS服务器上,在云盘上写入的数据是不会丢的,具备独立的生命周期。
  • 高性能:云盘本身具备20K的随机IO、256MB/S的吞吐能力,还可以购买多款云盘组成条带化,进一步提升性能。
  • 高可靠:块存储产品在云盘上是建立在盘古分布式文件系统上,云盘上的每份用户数据在底层都会在不同的物理机上存放多副本,当前为三副本设计,阿里云也支持数据快照,可以通过快照进行备份。

图中横坐标代表数据可靠性,中间分隔符的左边对应单物理机可靠性,对于有大量在线业务的行业应用来说,需要底层存储资源在具备高性能的同时,应具备很好的稳定性,要同时满足这两点需求,虚拟机直接访问宿主机上的本地存储无疑是兼顾性能和成本优选的解决方案。因此,为了满足这样的应用,我们推出了本地的SSD盘,后续我们会基于使用本地盘的业务场景,继续推出基于物理、基于本地存储资源的产品,同样主打高IOPS和低时延的场景,适合于核心业务系统,自建数据库这样的模式;分隔符右边按照性能不同分为普通云盘、高效云盘、SSD云盘,IOPS从数百到两万不等,阿里云即将推出一款新的共享存储云盘,供多台ECS实例同时进行访问,需要多个节点同时读写一个共享盘的架构。

性能与应用场景

普通云盘性能接近于机械硬盘,属于分布式三副本机制,价格便宜,适合数据不被经常访问,低IO负载的应用场景。

高效云盘:底层采用固态硬盘与机械硬盘混合的方式,适合中小型数据库、大型开发测试。

SSD云盘:SSD属于分布式三副本机制,适合I/O密集型应用、中大型关系数据库等,SSD只可挂载到IO优化的实例上才能获得期望的IOPS性能。

即将上线的共享存储和本地盘存储的性能也会使用户更加方便。

 

售卖类型和购买入口

当前云盘支持以下几种售卖类型:


随服务器包年包月购买


随服务器按量购买


购买独立按量计费云磁盘

购买入口,从阿里云的官网产品弹性计算模块栏中找到块存储产品页,在登录状态下点击立即购买即可,用户可以购买一块或多块云盘,也可以选择快照创建磁盘,选择磁盘类型和大小;还可以随着ECS一起进行购买,用户只需要按照操作步骤购买即可。

 

数据保护技术介绍

“硬件+软件”
问题成为数据丢失的第一要素。对客户来说,传统针对块设备的通用性保护手段不可用(备份软件/SAN设备自带的数据保护软件);其他应用级别数据保护手段有业务场景局限性。

多副本技术

多副本技术规避硬件故障造成的数据丢失,盘古是一个分布式文件系统,在整个阿里云计算平台“飞天”中负责数据存储,为虚拟机提供稳定、高效、可靠的随机访问能力。ECS用户对虚拟磁盘的读写最终都会被映射为对盘古文件的读写。

盘古提供一个扁平的线性存储空间,在内部会对线性地址进行切片,一个分片称为一个chunk;对于每一个chunk,盘古会复制出三个副本,并将这些副本按照一定的策略存放在集群中的不同节点上,保证用户数据的可靠性。盘古会有三类角色,Master、ChunkServer、Client,对于ECS用户而言,写操作会经过层层转换,最终交由盘古Client执行,Client会执行写操作对应的Chunk,会向Master节点拿查询Chunk三个副本的访问位置,Client会根据Master返回的结果,向ChunkServer发出写请求,如果三份都写成功了,Client就会向用户返回写成功,反之返回失败。

在这样一个策略下,Master分布策略会综合考虑集群中所有ChunkServer磁盘使用的情况,包括在不同交换机架下的分布情况、电源的供电情况、机器的负载情况,尽量保证一个Chunk的所有副本在不同机架下的不同ChunkServer下面,有效的防止一个ChunkServer故障导致数据不可用。当有数据节点损坏,集群中部分Chunk的有效副本会少于三个,Master就会发出一种Replication的复制机制,会在不同的ChunkServer之间复制数据,使得集群中所有Chunk的有效副本达到三个,这样的话我们可以看到,对于云盘上的数据而言,所有用户层面的操作都会同步到底层的三个副本上,无论是新增、修改还是删除数据,都能保障用户数据的可靠性和一致性。

快照

快照可以规避非硬件故障造成的数据丢失。这是一种安全、快速的备份方式,可以保存某一个或者多个时间点的磁盘数据拷贝,当你不小心误删了文件,数据出现错误或者其他逻辑错误时,都可以通过快照回滚来恢复到快照创建时间点的数据状态。所以,拿到云服务器后的第一件事是设置自动快照策略!

快照使用增量的方式,两个快照之间只有数据变化的部分才会被拷贝,如上图所示:

  • 快照 1 由于是磁盘的第一个快照,会把这个磁盘上的所有数据都复制一份。
  • 而快照 2 只是复制了有变化的数据块
    B1 和 C1,数据块A 和 D 引用了快照 1 中的 A 和 D。
  • 同理,快照 3 复制了有变化数据块 B2,数据块 A 和 D继续引用自快照 1 ,而数据块 C1 则引用自快照 2。

当前ECS提供2.0的服务,在原有的快照功能基础之上,提供了更高的快照额度,更灵活的自动任务策略,并且进一步降低了对业务I/O的影响。

设置快照策略操作如下:


登录云服务器管理控制台。


单击左侧导航中的
快照>自动快照策略。可以看到自动快照策略列表。


单击右上角的 创建自动快照策略。


定义自动快照策略的参数。

• 策略名称

• 创建时间:每天有 24 个时间点创建快照,从00:00
~ 23:00可选。

• 重复日期:每周有 7 天重复日期,从周一 ~周日可选。

• 保留时间:快照保留的天数,1~65536 或永久保留可选,默认 30
天。


单击确认。

快照商业化

  • 快照预计从2017年1月份开始收费,会提前一个月左右进行用户通知,通知方式包括短信/站内信/控制台提醒/邮件/外呼等,请届时留意;
  • 按照快照所实际占用的容量收费;
  • 收费标准&优惠额度当前还未最终确定,请留意官网通知;
  • 会有按量后付费和容量包预付费两种模式,推荐采用容量包预付费模式。
时间: 2024-09-20 00:32:00

《玩转ECS云服务器》第一期:走进块存储产品的相关文章

玩转ECS云盘 — 云盘高级变配

云服务器ECS当前支持两种计费方式的数据盘:云盘与按量付费云盘. 在上一篇博客<玩转ECS云盘 -- 按量付费升级到包年包月云盘>中,我们讲到了可以从按量付费云盘升级到包年包月云盘.其中也提到包年包月云盘可以在『续费降配』功能中在下个计费周期转为按量付费云盘. 那么是否可以对实例进行实时降配呢?答案是肯定的.秘密就在控制台升降配中的『降低配置』功能中. 目前控制台『降低配置』功能仅对部分用户开放. 通过『升级配置』和『降低配置』功能,控制台支持云盘在包年包月与按量付费两种计费方式之间实时转换.

ECS云服务器通过SAP HANA认证,海量数据处理技术助力企业数字化转型

2017年10月12日,杭州云栖大会上,阿里云副总裁李津做了"云之深处"的重磅发布,宣布了阿里云ECS云服务器通过SAP HANA认证.这标志着阿里云弹性计算产品与SAP产品相结合,利用双方在大数据.人工智能方面的优势,一起让企业解决方案更加"智能",创造出更有前景的价值. SAP HANA 是一款支持企业预置型部署和云部署模式的内存计算平台,能够帮助客户加速业务流程,实现更智能的业务运营,并简化 IT 环境.通过为客户的一切数据需求提供基础平台,SAP HANA

常见问题:阿里云ECS云服务器怎么安装配置SSL证书

在阿里云-ECS云服务器上部署ssl证书之前,我们需先下载应用软件amssl,下载完毕之后,点击面板右上角的应用软件.接下来是配置证书模版. sslz  阿里云湖北服务中心:武汉捷讯信息技术有限公司 配置证书模板 在应用软件区域找到刚刚下载好的amssl,点击证书管理.首先创建一个证书模板,环境选择Inmpssl,证书名称,备注说明填写任意好记的名称,点击创建.创建完毕,在出现的SSL模板后面点击配置. amssl证书 成功在景安申请证书后,会得到一个有密码的压缩包文件,输入证书密码后解压得到五

阿里云ECS云服务器通过SAP HANA认证 海量数据处理技术助力企业数字化转型

2017年杭州云栖大会上,阿里云宣布ECS企业级云服务器通过SAP HANA认证.这标志着阿里云将弹性计算产品与SAP产品相结合,利用阿里云在大数据.人工智能方面的优势,与SAP一起让企业解决方案更加"智能",创造新价值的最新实践. 据了解,此次通过认证的实例类型 ecs.se1.14xlarge 属于 ECS 企业级内存型实例家族 SE1,已经在全部地域可以购买.该实例规格具有如下特点:56 vCPU(Intel Xeon E5-2682v4 2.5GHz)具有高缓存及内存带宽的特点

专访阿里云雁杨:因需求而进化,ECS云服务器追求弹性极致

近年来随着云计算如火如荼的发展,上云已经成为了所有企业的标配.但在国内鱼龙混杂的云服务市场下,云服务器的选型评估却是长期困扰着企业的难题.基于此,阿里云ECS一直坚持为不同行业及不同企业提供垂直实例产品,提高用户体验,有针对性的解决行业特色问题并且带来最优的性价比.本文中阿里云ECS产品负责人雁杨,将就云服务器的选择.业务迁移上云的经验分享等话题进行深度解答. 雁杨 ECS发展现状解读 和亚马逊一样,阿里云始于电商业务,其整体技术构筑在阿里集团10年的电商业务积淀之上.雁杨表示,作为国内最早对外

详解阿里云ECS云服务器

ECS的全称叫Elastic compute service,是一种弹性伸缩的计算服务,也是阿里云上最核心 最基础的云计算服务,为什么说它是弹性伸缩呢,因为它可以在10分钟内启动或释放100台云服务器,在不停机搭的状态下完全可以升级服务器的带宽,停机的情况下可以升级服务器的CPU和内存,说到这里,你会发现,很像我们虚拟机下的KVM XEN,没错阿里用的正是XEN+加上自己独特的业务方案,可能阿里云进行二次开发增加了许多功能只不过阿里云自主研发飞天平台下的某一项目而已,相比较腾讯云则是用的全虚拟化

阿里云ecs云服务器建立wordpress个人博客教程

最近流行自媒体,许多朋友也都想建立一个wordpress博客.建立个人博客我们一般都用虚拟主机的多,毕竟便宜,国外的也不需要备案.但是,如果想要长久做下去,博客速度快一些的,我还是建议大家用阿里云的ecs服务器. 我是个业余人员,对代码,英文一点不懂,所有网络知识都是自学的,而且我只会用虚拟主机建站,对于服务器我是一点不懂.可是,最近我的博客流量大了,小小的虚拟主机已经容不下了,所以决定研究下服务器. 我的一位会员我用阿里云的ECS服务器,他做了一个9块9包邮网站叫特选街,然后另一会员叫封程中博

阿里云无法访问ECS云服务器怎么解决

由于国内运营商网络情况复杂,可能会存在因运营商问题引起的特定网络(以用户本地网络为例)无法访问阿里云ECS的情况.您可提供以下信息给阿里云售后支持协助分析. 为了排查顺利,需要您关闭ECS和本地电脑的防火墙,以及一切可能影响检测的安全设置. 测试方法如下: 在本地电脑中打开命令提示符,分别做 ping 与 tracert 检测.打开 开始 > 程序 > 附件 > 命令提示符. Ping测试: 请将以上屏幕信息截图. tracert测试 做完如上的 tracert 测试后,将完整的 30

阿里云ECS云服务器Linux系统盘网站数据迁移至数据盘

在阿里云购买的1台ECS,原系统盘20G,无数据盘,把LNMP环境都搭建在系统盘的/alidata目录下(一键安装包安装的).现新购了1块数据盘,那么如何将/alidata的数据迁移至新购的数据盘中呢?详细操作步骤如下: 1.分区并格式化新的数据盘 使用[fdisk -l]命令查看数据盘是否存在 执行[fdisk -S 56 /dev/xvdb]命令,对数据盘进行分区:根据提示,依次输入[n],[p],[1],两次回车,[wq],很快就能完成. 使用[fdisk -l]命令查看新的分区xvdb1