hold住大数据!解析EMC Isilon集群存储

在英特尔的推动下,IT系统通信带宽和计算能力遵循摩尔法则不断创下历史新高,保持了每12-18个月翻一番的发展速度。与此同时,IDC最新“数字宇宙”研究预测:数据增长速度将超过摩尔定律,2011年将达到1.8ZB;未来10年,企业将管理50倍于现在的数据量,文件量将增加75倍。在数字宇宙飞速膨胀的背景下,“大数据”的概念也应运而生。

  详解Big Data

  其实,大数据和云计算是两个相生相伴的概念,尽管业界暂时并没有关于大数据的官方定义,但其实,各厂商对大数据的理解已经达成共识。

  EMC信息基础设施产品部总监兼首席运营官Pat Gelsinger认为:大数据应该包括三个要素,首先,大数据是大型的数据集,一般在10TB规模左右,有时候多个数据集集合在一起会形成PB集数据量。其次,这些数据集往往来自于不同的应用和数据源,要求系统能够把半结构化、非结构化和结构化的数据很好地融合起来;最后,大数据还具有实时、可迭代的特点。

  IDC全球存储及大数据项目副总裁Benjamin Woo则提出,大数据有四个基本要素,Volume、Variety、Velocity、value。首先,数据在容量上是海量的;其次,大数据是由大量的人提供的庞大数据集,具备多样性特征;此外,无论是企业还是遍布世界各地的个人用户提供数据,这些数据的价值是非常高的,此外,从系统要求来说,希望获得数据的速度是非常快速的。所以用四个V来概括大数据特点。

  此外,EMC对大数据和云之间的关系做了更为深入的诠释:大数据和云是两个不同的概念,但两者之间有很多交集。支撑大数据以及云计算的底层原则是一样的,即规模化、自动化、资源配置、自愈性,因此实际上大数据和云之间存在很多合力的地方。

  “当我们打造云设施的时候,就会想云设施上应该跑什么样的应用,大数据就是在云上跑的、非常典型的应用。例如尽管电子邮件也是云上的应用之一,但也可以脱离云架构,但是大数据应用必须架构在云设施上。这就是两者的关系——大数据离不开云。” Pat Gelsinger如是说。

  传统存储的瓶颈

  如今,大数据的概念已经日益清晰,但解决大数据的存储问题仍然是摆在每个用户面前的一道难题。不仅如此,整个IT领域技术飞速发展,很多20年以前的新技术、新架构,如今面临淘汰甚至已经消失在技术发展的浩瀚长河中;而今天的很多新技术,20年后还将面临同样的命运,存储领域的技术更迭相比其他任何一个领域都表现的格外明显。

  存储领域的关键技术SAN和NAS架构如今也已经有了近20年发展历史,并从十年前开始取代DAS成为企业存储的主流标准架构。然而,SAN和NAS平台本质上不过是对 DAS 的改进,并未突破传统存储技术的瓶颈。传统存储架构依然存在根本性的体系结构缺陷:

  首先,传统的存储架构是静态的,其设计在可扩展性方面先天存在着不足,在进行扩展时,往往只能磁盘数量扩展,背板、内存和处理器资源却无法随之扩展。企业若想要满足不断增长的容量和性能要求,就不得不花费大量成本,且面临的数据风险也不断增加。最后的结果是,用户需要管理越来越复杂的存储,但所需的组织和人员配备却不能持续增长。

  卷是各种存储技术的最基本部分,为用户的前端应用提供数据服务,从存储卷的应用模式上看,已经体现出需要新的存储模式的最明显征兆。在一个理想的“云”的系统环境中,卷应该是灵活自由的,我们很难找到将数据限制到特定位置的理由。在足够的安全性和可靠性前提下,个人和应用程序应该能够从任何地理位置轻松访问文件和文件夹,就像数据在本地一样,并且,随着应用规模的增长,所对应的存储卷也应该无缝的随需增长。

  然而事实的情况是,存储卷并不能在各种并不能完全自由的在设备间随意迁移、且存储卷的扩展与收缩显然也并不如我们想象的灵活。当存储卷受到可靠性问题、技术限制或性能等多方面限制时,最终给用户带来的问题就是效率低下的情况。这些固定的资源集要充分发挥全部潜力,

  此外,传统存储环境遭遇的另一个重要难题是浪费;许多存储供应商认为用户环境的存储系统中,多达50%的资源未得到充分利用。当然这一点有利于存储供应商的收益,但对用户来说,将导致电力、冷却和管理方面的浪费。

  先天存在的瓶颈使得传统存储在面临大数据难题时更加捉襟见肘。

(责任编辑:蒙遗善)

时间: 2024-10-28 00:30:34

hold住大数据!解析EMC Isilon集群存储的相关文章

无惧浩瀚数据 超云XS5000集群存储为扩展而生

伴随着信息化技术的发展,我们正在加快步入数字时代的进程.根据IDC的报告显示,全球每年数据增长幅度超过58%,预计到2020年,全球数据总量将超过40ZB(1ZB约等于1万亿GB).面对海量数据的激增,如何确保数据能够安全高效的存储,以及可持续.可弹性的按需扩容,成为了IT运维不可忽视的问题. 无中心架构确保横向扩展优势 超云XS5000集群存储采用高效的无中心架构,无需专用元数据节点,避免故障点的集中和元数据性能瓶颈:XS5000将访问自动平衡分布到不同的集群存储节点上,能够有效提升系统自愈能

解析大数据时代的数据库集群技术

当今世界是一个信息化的世界,我们的生活中无论是生活.工作.学习都离不开信息系统的支撑.而信息系统的背后用于保存和处理最终结果的地方就是数据库.因此数据库系统就变得尤为重要,这意味着如果数据库如果面临问题,则意味着整个应用系统也会面临挑战,从而带来严重的损失和后果. 如今"大数据"这个词已经变得非常流行,虽然这个概念如何落地不得而知.但可以确定的是,随着物联网.移动应用的兴起,数据量相比过去会有几何级的提升,因此数据库所需要解决的问题不再仅仅是记录程序正确的处理结果,还需要解决如下挑战:

玩转大数据-如何搭建hadoop集群

看到题目有没有一种高大上的感觉? 毛线,当前是个人.是个公司都在说自己搞大数据,每天没有几个PB的数据入库,每天没有几个TB的分析数据产出敢说自己是大数据? 乘着大数据噱头之风,我们还是要看一下大数据所运用的工具对于我们是否有用,小编之前写项目时一直青睐于mysql,进来发现新的项目mysql已经无法适应,我们目前日数据产生量在10W级别时,mysql的查询速度和稳定性的确出现了问题,借鉴当前分布式数据库的经验,我们决定采用Hbase集群,Hadoop作为hbase的基础,被提到首要位置做研究.

玩转大数据-如何搭建redis集群

在企业应用中,对于数据的固化一般采用数据库,但是数据库的吞吐量还是存在一定的问题的,在高并发高吞吐要求时,一般会直接导致数据库的宕机或者死锁,目前对于这个问题的架构是在数据库前边在缓存池,redis就是这么一款产品. 对于redis的介绍,去百度吧,它应该被广泛运用在各个项目中,我们来看如何搭建一个redis集群,这里的集群是个真分布式集群哦. 首先,我们需要下载redis源代码,然后进行编译,以下命令在linux下执行: wget http://download.redis.io/redis-

玩转大数据-如何搭建Hbase集群

小编的上一篇文章说了如何搭建hadoop集群,我们的目的还是为了去最终搭建一个成功的Hbase集群,不说太多废话,我们直接上教程. 本文只给出如何搭建Hbase集群的方法.但是Hbase最重要的一个步骤其实是性能调优,Hbase调优之路很漫长,还请各位慢慢研究 重要的事情说三遍: 在此之前确认你的Hadoop集群已经运行起来! 在此之前确认你的Hadoop集群已经运行起来! 在此之前确认你的Hadoop集群已经运行起来! 我们就搭建一套全分布式的Hbase数据库系统(以下步骤和互联网上雷同,但某

大数据时代下的三种存储架构解析

数据的价值日益凸显,数据已经成为不可或缺的资产.作为数据载体和驱动力量,存储系统成为大数据基础架构中最为关键的核心. 大数据时代,移动互联.社交网络.数据分析.云服务等应用的迅速普及,对数据中心提出革命性的需求,存储基础架构已经成为IT核心之一.政府.军队军工.科研院所.航空航天.大型商业连锁.医疗.金融.新媒体.广电等各个领域新兴应用层出不穷.数据的价值日益凸显,数据已经成为不可或缺的资产.作为数据载体和驱动力量,存储系统成为大数据基础架构中最为关键的核心. 传统的数据中心无论是在性能.效率,

颠覆大数据分析之Mesos:集群调度及管理系统

颠覆大数据分析之Mesos:集群调度及管理系统 译者:黄经业    购书 正如前面"Mesos:动机"一节中所述,Mesos的主要目标就是去帮助管理不同框架(或者应用栈)间的集群资源.比如说,有一个业务需要在同一个物理集群上同时运行Hadoop,Storm及Spark.这种情况下,现有的调度器是无法完成跨框架间的如此细粒度的资源共享的.Hadoop的YARN调度器是一个中央调度器,它可以允许多个框架运行在一个集群里.但是,要使用框架特定的算法或者调度策略的话就变得很难了,因为多个框架间

使用WSS和SOFS管理集群存储

作为其强大云操作系统的一种重要组成部分,微软在Windows Server 2012当中添加了大量全新特性,其中就包括WSS(Windows Storage Spaces)和SOFS(Scale-Out File Server). 微软为了推出一款功能强大的云操作系统,在Windows Server 2012原有版本的基础上添加了一些全新的虚拟化.软件定义网络和软件定义存储特性,并且对原有特性进行了大幅度优化.Windows Server 2012发布之后,其中包含的两种特性获得了用户的特别关注

深度学习与大数据解析

深度学习的概念于2006年提出,是机器学习研究中的一个新的领域,其动机在于建立.模拟人脑进行分析学习的神经网络,它模仿人脑的机制来解释数据,例如图像.声音和文本,已被应用于许多领域,如人脸识别.语音识别等.深度学习已成为人工智能领域研究的热点. 随着人工智能的迅速发展,通过深度学习,用计算机来模拟人的思考.推理.规划等思维过程和智能行为取得了长足进步.人工智能的重要特征就是拥有学习的能力,也就是说系统的能力会随着经验数据的积累不断演化和提升.近年来,正是得益于深度学习为大数据处理开辟了有效途径,