大数据存储下闪存与硬盘的选择

  随着工业革命的发生,科技的日新月异,人们选用的存储介质也发生了较大的变化,硬盘开始成为人们日常生活工作中的必备品,并在数据存储中扮演着重要角色。但是近年来,由于社交网站、智能移动终端的不断普及,人们创造出来的数据量是惊人的,据统计2013年光中国产生的数据总量就已经超过0.8zb(相当于8亿tb),在海量数据的压力下,数据的存储介质会发生什么改变?企业面对海量数据如何改造升级传统数据中心来满足业务运营的需求?新兴的互联网巨头公司又该如何解决自身庞大数据的存取难题?这些亟待解决的问题是用传统手段,比如无限制扩展数据中心规模,扩充存储容量,还是采用新的科技手段,选择新的存储介质来满足海量数据的存取需求呢?

  大数据下的数据取舍

  要想解决上面提到的问题,首先我们应该先了解现阶段下海量数据的构成特点。以前的数据存储基本是基于结构化数据进行的,这些数据有一定的规律性,通过简单的机制就可以方便的存储数据并能够随时获取到相关信息。但是随着社交网络以及智能设备的普及,任何一个人都能产生大量数据,而这些数据又杂乱无章,毫无规律可循,这些数据又被被称为非结构化数据。尤其是互联网行业,用户在其平台上所创造的视频、文字、图片更是缺少一定的信息标注,使得早期的数据中心很难区分数据类型,对数据信息采取直接存储的方式,极大降低了数据的可用性,并造成了一定的成本浪费。

  在大数据时代,人们开始重新审视数据的可用性以及重要性。由结构化数据和非结构化数据组成的海量数据对于企业的it建设成本负担占据多大比例?这些数据的可用性对于企业来说是否能够逐渐降低其投入产出比?如果要解决这些问题,首先要从存储其数据的介质开始说起。

  传统机械硬盘存储的弊端

  我们知道自从硬盘被ibm这蓝色巨人造出来后就一直承担着数据存储的重担,在企业it基础架构中,硬盘都是搭建it整体架构的“板砖”。硬盘厂商通过技术更迭、厂商之间的各种收购,现在已经形成了寡头时代,如买了ibm硬盘业务的日立环球存储被西部数据收购,更名hgst,西部数据也因此坐拥硬盘老大地位;由ibm前员工创办的希捷公司,在收购迈拓、三星的硬盘业务后,也稳居硬盘市场第二,硬盘市场竞争激烈程度可见一斑。因为用户的高需求量,才能创造市场的繁荣,份额大了,抢得人就会多,手段就会激烈。

  那么这一对硬盘的高需求量在大数据、云计算时代下发生着哪些变化呢?因为传统机械硬盘单碟容量的限制,导致大多数用户在面对海量数据时只能采取不断扩容的手段来满足数据存取的需求。而不断的扩容必然导致设备能耗的增加以及空间资源的浪费,这也使企业陷入了一个“容量无底洞,金钱塞不够”的状况。另外,因为传统机械硬盘的转速、性能方面以及高可靠性等方面的局限,令用户在存取大容量数据时,增加一定的时间成本。再加上现在占据主流的非结构化数据的多样性,让用户不再单单满足于简单的数据存储,而是需要在成千上万次的数据存取过程中去寻找数据价值,这对于一块硬盘的性能有非常高的要求。

  闪存的选择

  传统机械硬盘无法满足用户的各种新需求,技术的发展又不能很快的跟随着用户需求的变化速度,那么大家就开始寻找其他类型的存储介质,闪存就被提了出来。顾名思义,闪存就是存取速度方面非常占优的存储介质。闪存的出现有一定时间了,但是人们总是对它报以不信任感,除了价格昂贵,还有传统的认知,小小芯片的存储介质实在难以让传统企业信任,还是大大的碟片看着让人舒服省心啊。到目前为止,很多金融机构仍然不敢将闪存作为高性能运算方面的主要存储介质,也是出于对其不稳定性的担忧。

  但是在性能方面,闪存绝对可以解决现在大数据时代下的各种需求。对海量数据的存取速度,已经超过传统机械硬盘的几十倍,小而精的体积又让传统数据中心节约大量空间,并能够节省能耗,为数据中心省下一大笔钱。当然了,“节省一大笔钱”的前提是这些闪存都是别人送你的。所以,现在闪存的应用还是走不出贵与不稳定的“高富帅”形象。两大硬盘巨头到现在也没怎么发展固态硬盘业务,可能也是说明了市场选择的一个大致方向。

时间: 2024-09-20 09:32:53

大数据存储下闪存与硬盘的选择的相关文章

数据无界·存储无疆:大数据时代下,闪存已经势不可挡

近日,IBM在深圳召开"数据无界 • 存储无疆,IBM为大数据再造存储盛典"主题大会暨中国闪存联盟第三季启动仪式. 数据无界 • 存储无疆,IBM为大数据再造存储盛典 在"IBM为大数据再造存储盛典"上,IBM向与会嘉宾展示了全新的存储软件产品系列IBM光谱存储(IBM Spectrum Storage)和新一代全闪存解决方案IBM FlashSystem V9000.FlashSystem 900等产品,并介绍了自身在存储领域的新战略.新行动与新成果. IBM大中

百度宣布以闪存替代硬盘存储

据新浪科技讯报道,昨天下午,百度宣布以闪存及配套技术全面代替硬盘存储,该公司承载全球检索及索引存储的运算集群中的硬盘已全部拆除. 据介绍,百度此次调整经过了两年产品技术研发及测试准备.在以百度自行研发的海量闪存卡及配套技术替代硬盘后,百度也成为全球首个使用闪存技术代替硬盘并大规模商用的互联网公司.百度认为,这改变将提高其服务能力和检索速度. 闪存与硬盘这两种新老存贮介质的竞争由来已久,以三星为主导的"闪存派"认为闪存具有快速.安全.低功耗等优点,而硬盘老大希捷一直认为硬盘才 是大容量.

分析:大数据时代下的存储平台选择

文章讲的是分析:大数据时代下的存储平台选择,大数据是时下最热门的企业IT话题,那么大数据对存储有什么要求呢? 为了解决这个问题,我们首先来分析一下大数据的特点. Gartner对大数据下了一个简洁的定义:"大数据是需要新处理模式才能具有更强的决策力.洞察力和流程优化能力的海量.高增长率和多样化的信息资产." 所以,大数据既包含结构化数据也包括非结构化数据,而且是以数量巨大.变化率高的形式存在. 大数据如此热门的主要原因是因为它能提供可行性的见解.企业通常使用分析应用来提取大数据里的本来

DockOne微信分享(六十七):互联网场景下闪存优化测试和应用

本文讲的是DockOne微信分享(六十七):互联网场景下闪存优化测试和应用[编者的话]闪存在这几年存储领域发展非常快,应用也越来越广泛,如何能更好的使用闪存,本次分享讲一些闪存相关的优化和应用. 闪存应用场景 数据库 NoSQL 分布式存储 CDN 公有云存储 综合上面几种场景看,闪存主要适合有比较高的随机IO需求和带宽需求的场景.场景选择上,也是要发挥闪存的长处.目前上面业务中 未来几年发展比较快的会是在公有云存储这一部分.下图就是某厂商云盘对比,可以看到闪存的价格已经很接近机械硬盘了,而单从

2016中国国际大数据大会:大数据时代下的机遇和挑战

ZD至顶网CIO与应用频道 10月09日 北京消息:十一假期前,一年一届的中国国际大数据大会在京闭幕.本届由人民邮电出版社主办,<大数据>杂志.数创汇承办的大会,以"数聚新动能.数创大未来"为题,共同探讨了大数据的发展态势,以及技术如何与行业紧密融合. 以下为嘉宾精彩观点整理: 国家信息化专家咨询委员会常务副主任周宏仁:中国GDP不能靠房产,数据资产是条路子 因为大数据产业的绿色.高效.门槛相对也比较低,所以是最具有潜力的新兴产业之一.但要想发展一个数据企业的话,实际上有三

《大数据管理概论》一3.2 大数据存储与管理方法

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.2节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 3.2 大数据存储与管理方法 闪存.PCM等新型存储介质的引入使得大数据存储架构有了多种选择.但由于新型存储介质在价格.寿命等方面与传统的磁盘相比不具优势,因此目前主流的观点是在大数据存储系统中同时使用新型存储介质和传统存储介质,由此产生了多种基于新型存储的大数据存储架构,如基于PCM的主存架构.基于闪存的主存扩展架构.基于多存储介质的分层存储架构

大数据时代下惠普的惊人超越之路

文章讲的是大数据时代下惠普的惊人超越之路,据IDC预测,全球数据量将从2014年的4.4ZB增长至2020年的44ZB.企业拥有一个前所未有的契机来利用这些信息创造有利可图的商机.然而,存储并管理所有这些数据的巨大压力让整个亚洲公司的IT部门不堪重负. 2015年,随着"互联网+"概念的提出,传统企业受到多重挑战,用户的个性化需求.互联网公司的兴起.宏观环境和同业及跨界竞争等方面正在倒逼着传统企业进行转型.IT在企业中扮演的角色也将由"传统支持"走向"业务

《大数据管理概论》一第3章‖大数据存储3.1 引言

本节书摘来自华章出版社<大数据管理概论>一书中的第3章,第3.1节,作者 孟小峰,更多章节内容可以访问"华章计算机"公众号查看 第3章| 大数据存储 3.1 引言 大数据存储与管理研究首先面临的是存储技术上的挑战.虽然目前有许多存储技术有望用于大数据存储,但它们都存在局限性[36].例如:目前以NoSQL数据库为代表的大规模分布式数据库系统设计了基于磁盘存储的读写方式.索引结构.查询执行.查询优化和恢复策略,但是磁盘固有的读写性能差等弊端限制了大数据存取尤其是大数据分析性能

2013年存储市场闪存厂商收购事件盘点

2013年,闪存搅动企业存储市场,伴随而来的就是存储厂商收购事件增多.下面我们盘点一下2013年的闪存厂商收购事件. 闪存初创厂商Violin收购SAN缓存设备初创厂商Gridron系统公司 纯闪存阵列初创厂商Violin Memory收购GridIron Systems公司,后者是一家供应TurboCharger SAN加速闪存高速缓存的初创公司.Violin主要为企业.公共事业客户市场提供共享6000系列纯闪存阵列,它还推出了单服务器PCIe连网的设备,并与富士通签订了阵列转售协议.Viol