大数据解决方案背后——开放架构才是未来

大数据的浪潮有多迅猛?IDC在2006年估计全世界产生的数据量是0.18ZB(1ZB=100万PB),而今年这个数字已经提升了一个数量级,达到1.8ZB,差不多对应全世界每个人一块100多GB的硬盘。这种增长还在加速,预计2015年将达到近8ZB。就目前来看,大数据处理正面临三大瓶颈——大容量、多格式和速度,而与之对应的解决方案也被提出,那就是扩展性、开放性和下一代存储技术。

容量——高扩展性

数据正从TB级扩展到PB级甚至EB级,人们和机器制造的越来越多的业务数据对IT系统带来了更大的挑战,数据的存储和安全以及在未来访问和使用这些数据已成为难点。

那么,未来的系统架构应当是怎样的呢?传统系统架构,无论是较早的Monolithic还是现在的Modular架构,都基于Scale-up设计,这种传统模式不可避免的让存储系统会遇到性能瓶颈问题,存储系统必然会出现性能拐点。加上现在的信息环境决定了用户数据量处于一个快速增加的状态,用户对功能和扩展性方面的需求愈加强烈。传统存储架构物理组件和逻辑约束等方面有其上限(比如磁盘数量、服务器数量、缓存大小、控制器数目等),决定了Scale-UP架构有其巨大的局限性。

因此,面对大数据,具备高扩展性的Scale out架构已是必然的需求,越来越多的企业都开始采用开放架构,并用Scale—out储存加VM on x86环境实现服务器整合。

目前EMC已经把经营了多年的传统高端Symmetrix DMX系列的核心软件迁移到了开放式硬件平台上,CPU从PowerPC变成了Intel x86,并推出了新一代Scale-Out高端存储系统Symmetrix V-Max;HDS也将其传统高端存储USP V也迁移到了开放硬件平台,变身成了VSP存储系统。这也说明Scale-Out架构将在未来存储系统中扮演着越来越重要的角色。

多格式——开放性

大数据包括了越来越多不同格式的数据,这些不同格式的数据也需要不同的处理方法。从简单的电子邮件、数据日志和信用卡记录,再到仪器收集到的科学研究数据、医疗数据、财务数据以及丰富的媒体数据(包括照片、音乐、视频等)。

对系统架构而言,处理不同的数据需要不同的软件,此外,如果将系统锁定在某个厂家上面,会给后续的扩容带来很大的困难。

事实上,现在无论在服务器还是存储方面,采用传统的RISC架构的产品都无法具备良好的扩展性,而像X86服务器、集群NAS、集群存储产品都具有高度的可扩展性,能够很好的满足私有云对扩展空间的弹性需求。比如说,EMC、VMware、Cisco联合推出的Vblock产品,就能够帮组用户实现灵活多变的弹性需求。因此,弹性化用户实现按需添加或减少IT资源、架构灵活多变的私有云环境的一个重要标志。

而在生态链的营造上,开放架构的优势进一步体现出来,在基于开放的X86架构上用各种开源软件构件未来的大数据处理架构已经成为架构师们得共识,由于x86平台的开放性和庞大成熟的软件生态圈,因此基于英特尔的X86服务器所具备的平台优势和潜力将超过以往任何一款平台。这也是现在各种开源软件比如Hadoop、MongoDB、Redis、Xen等如此受到系统架构师欢迎的原因。

速度——下一代的存储技术

这个速度主要是指数据从端点移动到处理器和存储的速度,当企业开始越来越多地运用虚拟化在大数据架构中后,运算密度会大幅提升,系统I/O的负担就会越来越重,而SSD硬盘则成为解决这个问题的一个新方法。

实际上,服务器搭配SSD硬盘不足为奇,Intel、EMC、 NetApp等厂商正在研发的服务器I/O加速技术,可说是把分层存储架构更进一步推至服务器端,把存储设备的快取放到服务器里,并且使其成为存储设备可管理的一部分,如此让存储设备的快取能更接近处理器运算核心,以获得整体能效的提升。

当然,可擦写次数一直是SSD盘的硬伤,不过对此已经有很多技术实现来解决这一问题,以英特尔HET系列为例,其融合了NAND闪存在芯片上的改进和独一无二的固态硬盘NAND管理技术,可延长基于MLC的固态硬盘的写入耐用性。由英特尔开发的固件、控制器和高循环NAND组成的盘阵足应对24/7全天候数据中心或科学、金融以及其它高密度使用模式中的繁重数据处理和写入负载。英特尔固件的增强特性则包括经过优化的错误避免技术、减少写入放大的算法和超越业内常见的错误检查与纠正(ECC)标准的系统层错误管理。

(责任编辑:吕光)

时间: 2024-09-20 04:10:01

大数据解决方案背后——开放架构才是未来的相关文章

大数据创业公司受青睐 谁才是未来之星?

大数据创业公司受青睐&http://www.aliyun.com/zixun/aggregation/37954.html">nbsp; 谁才是未来之星? [中云网 配图] [中云网 消息]大数据分析商Tableau Software于5月18日在美国纽约股市上挂牌交易,公司成功融资2.54亿美元,市值达到20亿美元.这不仅为低迷的资本环境注入了活力,而且让大数据领域的创业团队坚定了创业信心,同时,也将大数据初创公司再一次推到了风投们的面前. 小编在此为大家整理了去年年底至今获得融

云端部署大数据解决方案该用IaaS还是PaaS?

通过快速部署.很低的资本成本和可扩展性,云计算给公司企业了巨大的价值. 然而,选择IaaS解决方案还是PaaS解决方案对云项目的回报速度以及应用程序开发创造价值的时间会有重大影响. 将大数据解决方案部署到云端时,一个早期的讨论点和常见的架构决定就是选择IaaS解决方案,还是选择PaaS解决方案.大多数大型云服务提供商同时提供高度专业化的PaaS功能和比较灵活的IaaS功能,让架构师可以选择合理兼顾功能.成本.速度和可扩展性等方面的部分. 大数据市场的IaaS解决方案据往往是通常部署在企业内部本地

《机器人操作系统ROS原理与应用》——3.1 企业大数据解决方案实现方式

3.1 企业大数据解决方案实现方式 工欲善其事必先利其器,企业大数据解决方案既包括大数据产品和工具层面,又包括服务层面.企业大数据解决方案根据实现方式的不同可分为完全独立研发.直接购买第三方解决方案和借助第三方的力量进行联合开发三种. 3.1.1 独立研发 独立研发指的是企业内部通过组建大数据中心或部门,独立进行大数据项目的研发.企业独立研发大数据平台,在数据安全.技术可控.后期扩展等方面具有重要意义. 数据安全:独立研发过程中的所有数据从输入端到输出端的整个流通都在企业内部进行,数据不会因为平

2015建投数据大数据解决方案发布暨核心客户研讨会落幕

ZD至顶网软件频道消息:10月25日,为期两天的"新启航 新产品--2015建投数据大数据解决方案发布暨核心客户研讨会"在北京成功举办.本次研讨会议由建投数据科技股份有限公司主办,汇聚来自全国各地数十家金融行业客户.会议分享了大数据在互联网征信领域的应用,建投数据在金融辅助营销和工业4.0这两个领域打造大数据应用实践.通过传播行业最佳管理实践,提供行业优秀解决方案,促进业内经验的交流,助力行业企业实现战略转型! 一. 互联网征信现状 今年互联网金融最热门的风口当属互联网征信了,特别是央

小预算的大数据解决方案

大数据可能确实具有很大的潜力,但另一方面一般来说来其造价也不菲.去年夏天,New Vantage的合作伙伴调查了超过50名企业高层管理人员和财富1000强公司和大型联邦机构的功能首脑.调查发现50%的公司截至到今年在大数据技术方面的花费大约在100万美元到100亿美元之间,而25%的企业在这方面的花费达到了100亿美元甚至更多. 虽然作为开放源代码的替代品,如Apache Hadoop更容易理解,他们还是需要企业寻找合格的人员来操作.相关数据方面合格人才的缺乏,如数据科学家.数据架构师等,不仅增

SQL Server+Hadoop 变身大数据解决方案

文章讲的是SQL Server+Hadoop 变身大数据解决方案,在数据库市场中,微软的SQL Server是最受关注的产品之一.在数据库知识网站DB-Engines每月公布的数据库流行度排行榜中,SQL Server几乎稳占第二名的位置.但从这个榜单每月的变化中也可以看出,大量NoSQL数据库的排名不断上升,已经开始威胁到传统数据库的地位. "以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场,微软就是其中的一个代表.微软的改变最早是为

【友盟+】COO叶谦:解读全域大数据战略背后的技术演进

今年年初,Oracle发布了一份大数据变化趋势报告,报告中指出,越来越多的企业将用户分析甚至是企业应用同大数据加以结合.从AI支持型应用到Megabox等数据流客户端,各家企业都将迎来自己的大数据转型及下一代数据驱动型应用.Oracle亚太客户体验策略及转型部门总监Krisi Mansfield也表示:"预见并了解了客户的意向,并相应地采取行动之后,就可实现个人化(Individualization)"目前,国内一批大数据企业都开始致力于此项技术的研究和探索--即围绕用户的使用过程来打

普元发布政务大数据解决方案 用技术提升数据质量

今年9月初,国务院通过<关于促进大数据发展的行动纲要>,将大数据上升为国家战略.在纲要中提到,要大力推动政府信息系统和公共数据互联开放共享,加快政府信息平台整合.可见在大数据时代下,政府对于数据的整合.打破信息壁垒同样存在着需求. 11月25日,国内领先的软件基础平台与解决方案提供商普元信息技术股份有限公司,在京召开了普元政务大数据解决方案发布会.普元信息CTO焦烈焱认为,政府是一个非常好的大数据场所,通过电子应用的建设,从而达到提高政府的监管水平.为整个社会的公共服务提供支撑.以及拉动产业三

戴尔开展独立软件供应商战略合作 发力云应用及大数据解决方案

ZD至顶网软件频道消息:今天,戴尔携手有云(UnitedStack).音智达(AAS)发布戴尔独立软件供应商(ISV)战略合作伙伴项目.该项目旨在帮助本土戴尔独立软件供应商战略合作伙伴充分利用戴尔的平台,打造具备极高竞争力的创新解决方案,帮助中国用户应对在云计算,大数据应用等诸多领域的实际挑战,为客户带来更多价值. 中国经济进入新常态之后,以云计算.大数据等为代表的新一代信息技术逐渐推广,并被应用到传统行业之中,在提高工业化水平,降低生产成本和加强生产协作等方面发挥了重要作用.今年9月戴尔公司董