处理海量数据:网络规模存储设计的好处

考虑到这种前所未有的海量存储需求增长的预期,大型企业正在开始部署网络规模的架构:从而能够实现大规模的虚拟化、计算和存储功能。

 

增加存储的灵活性

网络规模的存储设计的一个基本特征是消除存储架构的瓶颈。一个单一入口点可能成为一个单点故障点,尤其是在云计算的存储需求方面。添加冗余的、昂贵的、高性能的组件,以改善这些瓶颈问题,是目前大多数服务提供商正在努力的方向,但这会非常迅速地增加成本和系统的复杂性。另一方面,一个横向扩展的网络规模系统设计能够使得在更便宜的、低能耗的硬件的所有节点之间分配数据。

因为云供应商要比企业用户管理更多的用户、具有更高的性能要求,因此,其解决诸如数据瓶颈这样的性能问题的意义是相当重大的。虽然大多数企业用户的系统均要求很高的性能,但这些系统通常仅仅只有较少的用户,而这些用户可以通过本地网络直接访问他们的文件。此外,通常企业系统用户在访问时,会发送和保存相对低容量的文件,如文件和电子表格等,他们所使用的存储容量较少、也就降低了性能负载。

而那些在企业环境之外使用云计算的用户会面临非常不同的情景。该系统正在同时被相当数量级的用户通过互联网访问,这无疑将互联网本身变成了一个性能瓶颈。云提供商的存储系统不仅必须扩展到每一位新增的用户,同时还必须跨所有用户确保总体性能。显然,平均来说,云用户的访问次数要比一般的企业用户更为频繁,而且他们会存储比企业用户大得多的文件、音乐、照片和视频。网络规模架构的设计则能够防止由这种传统的旧式存储设置所导致的瓶颈问题。

不受硬件约束

网络规模体系架构的一个重要的区别是:其完全不依赖于硬件设备。由于硬件故障是不可避免的,而传统的设备——存储硬件通常内置专有软件——包括多个昂贵的副本组件,以预测和预防故障。这些额外的硬件提取层在能源消耗方面会使用更高的成本,同时也增加了单一设备层的复杂性。因为较之商品化的服务器,每台设备的实际成本是相当高的。当企业开始研究如何扩展他们的数据中心时,成本费用估算往往就开始扶摇直上。避免这个问题的一种方法是通过使用软件定义的vNAS或在一个管理程序环境使用vSAN;二者均能够提供以网络规模速率构建服务器的方法。

分布式模型

与当前的集中式数据中心趋势不同,构建网络规模存储的最好方法是用一个分布式模型。这是因为现在有诸多的方法能够在软件层提高性能,以中和集中式数据存储方法的性能优势。

由于用户是从世界各地不同地理位置访问云计算服务,服务提供商需要提供遍布世界各地的数据中心服务,以尽量减少加载时间。不过,确保全球同步的访问体验也会涉及到一些挑战。工作负载在企业所在地理区域的数据中心是活跃状态。这种情况造成了一个问题,因为存储在所有地点的所有数据都必须同步。从视图的架构来看,在存储层,而不是向上到应用程序层解决这些问题是相当重要的,否则其会变得更加困难和复杂。

此外,管理全球的可用数据意味着在发生本地灾难事件的情况下,数据中心必须是弹性的。如停电事故,这会使本地服务器场脱机离线。如果一个地方的数据中心或服务器出现故障,全球数据中心必须迅速将数据传输到可用的服务器,以减少停机时间。虽然当然固然有很多解决这些问题的方法,但这些方法都是在应用程序层。试图在数据中心的基础设施的层次结构解决这些问题,而不是在存储层解决,会带来显著的高成本和复杂性等缺点。直接在存储层通过网络规模架构解决这些问题,则提供了显着的效率,时间和成本节约等方面的好处。

建设未来

大数据分析和移动化的到来无疑是预示着廉价的存储需求会不断增加的两大趋势。如果企业继续在他们的数据中心依靠昂贵的、呆板的设备,他们将被迫付出大额支出,发展足够的存储容量,以满足客户的需求。

随着市场需求的变化,网络环境、企业的重点优先事项和预算也应随之进行相应的调整。一个广阔的、刚性的网络环境锁定外部供应商的配置会严重限制该企业灵活应对市场的需求,更谈不上积极根据预期调整能力了。网络规模的存储理念使各大企业得以建立“面向未来”的数据中心。由于硬件和软件的投资是彼此分开的,二者均可以调整到更好的,更合适的选择方案,以最低的成本满足市场需求。

存储的未来

较新的数据存储技术,如超融合基础设施和软件定义的存储预示了未来的需求:网络规模的架构。他们将允许企业能够规模化其庞大的计算环境,与虚拟化组件集成整合。网络规模化的存储设计,消除了硬件造成的瓶颈,提高了敏捷性和速度,也有利于全球数据的可用性,并提供更大的效率,带来了时间和成本的节约。考虑到数据的快速扩散和随之而来的存储需求的增加,网络规模的存储设计是合乎逻辑的选择。

作者:何妍 

来源:51CTO

时间: 2024-10-14 10:01:18

处理海量数据:网络规模存储设计的好处的相关文章

阿里云ECS网络增强型实例设计原理

摘要:为了满足直播.游戏.Hadoop.消息中间件等对网络转发能力有非常高要求的用户场景,主流的云计算厂商都推出了针对网络性能优化的虚拟机实例.如何实现高性能.低延迟.少抖动的虚拟机网络性能,一直都是非常有挑战的问题,业界的有多种实现的方法,但是都各有利弊.在和阿里云网络团队联合主办的2017阿里云网络技术在线高峰论坛,阿里云高级技术专家李星就为大家分享了阿里云的网络增强型的解决方案和思考. 本文内容根据演讲嘉宾分享视频以及PPT整理而成. 一.传统虚拟化网络所面对的挑战和瓶颈 在传统虚拟化网络

分布式数据库的存储设计改进

  分布式数据库的存储设计改进       目录 背景... 4 核心思想... 5 负载情况... 5 数据分布规则... 7 基本均衡策略... 8 列表... 8 范围... 9 取余(节点数为除数,即除以节点数取余数) 9 基本均衡策略的分析... 10 基本均衡策略下的数据重新分布... 11 组合均衡策略... 13 两个基本均衡策略的组合... 13 三个基本均衡策略的组合... 15 数据动态重新分布... 19 场景... 19 业务影响分析... 20 如何处理数据重新分布.

NETGEAR解析NAS网络附加存储技术

NAS的中文名称是网络附加存储,是基于硬盘的专业存储技术.它可以直接接入计算机网络,为各种操作系统的客户端提供集中式的数据存取服务. NAS的优势 NAS的专业存储设计和为多种客户端服务的特点,让数据更加安全和便于访问.不像一般的存储设备,如U盘.1394接口存储或者CD / DVD,NAS拥有嵌入式操作系统.操作系统赋予NAS内置的智能,支持它独立的在网络上为各种客户端提供服务.NAS不需要依靠任何其他主机设备,不会出现当其他设备停机,NAS就不能访问的问题.另外,NAS包括了RAID技术,数

虚拟化存储设计:存储类型

Problem Statement 存储设计是虚拟化设计的重要部分之一,确定合适的存储类型是展开存储设计的关键一步. FC/FCoE, iSCSI, NFS 甚至 Local Storage,  你会选择哪一种呢?参见下图. Requirements 客户需要移植物理服务器到VMware虚拟化平台,很多物理服务器使用FC SAN,有的SAN Disk容量大于2T.其中有的服务器运行MS Cluster Service. 有的应用对响应时间的要求很高. Assumptions 目前存储支持部门很熟

HDFS数据块多副本存储设计

Hadoop能得到如此广泛的应用,和背后默默支持它的HDFS是分不开的.作为一个能在成百上千个节点上运行的文件系统,HDFS在可靠性设计上做了非常周密的考虑. 3.2.1 HDFS数据块多副本存储设计 作为一个分布式文件系统,HDFS采用了在系统中保存多个副本的方式保存数据(以下简称多副本),且同一个数据块的多个副本会存放在不同节点上,如图3-2所示.采用这种多副本方式有以下几个优点:1)采用多副本,可以让客户从不同的数据块中读取数据,加快传输速度;2)因为HDFS的 DataNode之间通过网

HPE:SKT 基于NFV/SDN的网络重构顶层设计-ATSCALE 战略解读

SKT"下一代平台"战略让创新改变世界 电信业面临技术变革,不断变化的消费需求和日益增加的数字融合等趋势.SKT的企业愿景是利用网络基础设施和尖端技术,成为激发个人和企业用户无限新可能的合作伙伴 – "Partner for New Possibilities". 为实现这一愿景,需要克服电信产业的局限性.为此,SKT计划从一家无线通信服务商转型为下一代平台服务提供商(Next-generation platform service provider). 和其他互联

应用程序性能的左右手:网络和存储I/O

应用程序的性能表现可能会随着系统管理员做出的决定而发生变化.对于网络.I/O.内存和CPU来说,企业需要根据自身需求作出选择.这篇文章是介绍影响虚拟应用程序性能表现因素系列文章的第二部分. 网络是应用程序之间相互通讯的桥梁,也是用户使用应用程序的前提条件.对于应用程序来说,网络是必要组成部分,但是应该如何在应用程序当中进行配置呢?我们都知道网络对于基础架构十分重要;然而,应用程序和基础架构在网络方面的需求并不完全相同.现在数据中心当中最为常见的网络带宽是1GB,除了网络备份之外,很少有应用程序能

杰和的NAS新定义:网络+应用+存储的三者融合

6月15日   昨日,杰和科技发布新一代NAS服务器,对NAS进行了重新定义,杰和认为,NAS不只是网络附属存储 (Network Attached Storage),而是网络+应用+存储的三者融合.杰和同时展示的还有NAS全系列产品方案和存储管理的新系统及应用技术,并分享了杰和针对数据存储专门设计的GSM(Giada Storage Management)操作系统在解决数据存储安全性.可靠性.简易运维等方面的功能应用优势. 杰和看好NAS的发展前景 杰和非常看好NAS的发展前景,并认为随着国内

船舶信息系统的数据分发与存储设计

船舶信息系统的数据分发与存储设计 王堪美 胡晓惠 周文亚 高骞 随着船舶各个分系统之间数据交互要求日益增加.历史数据爆炸性增加,实现数据高效的分发以及海量数据存储日益重要.在分析数据分发服务 DDS(Data Distribution Service)规范的基础上,搭建船舶信息数据分发系统,同时提出基于 RDB 和 NoSQL(Not Only SQL)的联合存储方案.实现船舶信息系统的数据高效.实时发布,以及海量历史数据的有效存储.高效查询.通过搭建船舶仿真系统测试船舶信息系统的数据分发系统及