大数据时代来临 巨头破解密集计算困局

继物联网、云计算之后,“大数据”已迅速成为市场和用户争相讨论的热门科技概念。那么究竟什么是大数据呢?调研机构IDC认为,某项技术要想成为大数据技术,必须满足IBM所描述的三个“V”:即多样性(variety)、大容量(volume)和时效性高(velocity)。多样性是指数据应包含结构化的和非结构化的数据;大容量是指聚合在一起供分析的数据量必须是非常庞大的;时效性高则是指数据处理的速度必须很快。

  在2011年,“大数据”的概念已经赚足了人气,调研机构IDC数字宇宙在2011年6月的报告显示,全球数据量在2011年已达到1.8ZB,在过去5年里增加了5倍,而到2015年将达到近8ZB。进入2012年,大数据丝毫不会放慢增长的步伐,全球制造业、政府、零售商、金融等众多机构已经陷入“数据爆炸”的困境。

  尤其在互联网和电信行业中,随着移动互联网的不断创新强大,海量数据蜂拥而至,更多新的数据形式也不断涌现,现在的数据早已不是结构化的了,还掺杂了包括办公文档、文本、图片、网页、报表、音频、视频信息等很多非结构化数据,这为传统的数据处理带来了新的挑战。

  随着数据量的急剧增长,以及对数据在线处理能力的要求不断提高,海量数据的处理问题越来越受到关注。在金融、电信等领域,都需要通过对大量的用户数据进行分析,才能做出相应的决策。对互联网数据进行存储和处理的海量数据处理系统也开始向数据密集型计算系统发展。

  数据密集型计算系统特点

  数据密集型计算系统不仅需要存储超大规模的数据,还需要对这些数据进行复杂的计算与分析。由于对数据密集型大规模计算系统的需求越来越多,人们也越来越关注。不同于已有的分布式计算或高性能计算,数据密集型大规模计算的特点可以概括为两个方面:

  海量的数据集:通常在PB级。这意味着对于一次计算任务而言,获取所需的数据所花费的时间将是不可忍受的,这完全不同于以往的计算系统,同时也给数据密集型大规模计算系统的设计与实现带来了新的挑战。

  复杂的计算过程:简单地将数据进行分块处理已经不能满足数据密集型计算的需求。即使是对互联网数据的分析也开始具备科学计算的复杂性,这种计算的复杂性为局部性的优化和数据管理带来了新的挑战。

  由于数据密集型大规模计算系统的研究还处在起步阶段,对于数据密集型大规模计算系统的体系结构设计仍在探索中,目前在对系统结构方面的研究中,重点大多集中在如何使计算尽可能地靠近数据。但是,当大规模计算的数据量超过1PB时,传统的存储子系统已经难以满足海量数据处理的读写需要,数据传输I/O带宽的瓶颈愈发突出。

  因此,数据密集型计算系统在系统结构方面面临的最大挑战其实是如何在存储超大规模数据量的同时,保证存储系统与计算系统之间的I/O带宽。海量数据处理系统面向的应用是处理大量的数据,所以其设计关键是如何组织存储资源以获得高速的I/O吞吐率以及海量的数据容量。

  大型机打破I/O瓶颈 强化安全

  在2011年,IBM就提出了“智慧的运算”概念,其内涵包含大规模数据整合、优化的系统,以及云计算等新兴服务交付模式。伴随着全新的zEnterprise 114大型机产品发布,zEnterprise System企业级大型机已经作为“系统中的系统”来全面实现“智慧的运算”。

  众多周知,除了RAS外,大型机的设计被公认用来处理大容量的I/O应用。IBM大型机的设计中包括一些辅助电脑来管理I/O吞吐量的通道,而让CPU解放出来只处理高速内存中的数据,每一个I/O通道都能同时处理许多I/O操作和控制上千个设备。利用大型机处理数据中心超大数据是已经是十分常见的情景了。

  相比于x86服务器,大型机经常是同时处理上千个数据流。并且能保证每一个数据流的高速运转。在软件方面,IBM提供一种高性能操作系统IBM z/TPF,专为具有高需求、高容量、实时事务处理需要的组织提供高可用性而设计。

  此外,随着高度分布式的计算、广泛的在线协作和异构IT环境的结合,对数据的依赖性已越来越高,使得信息安全比以往更加关键和复杂。由于IT基础架构更加开放和多样,安全威胁正在加剧,并变得更加难以管理。

  在安全性方面,IBM大型机具备得天独厚的优势,System z大型机具有一种高度安全的设计,可帮助减少如今分布式、协作、多平台环境中的数据破坏风险。安全构筑于大型机结构的每个层级,包括处理器、操作系统、通信、存储和应用。

  除了异常强大的安全基础,得益处于IBM Security Solutions“Secure by Design” 计划,大型机从一开始就将安全性构筑到IT基础架构内。该计划的目的就是帮助企业将安全性整合到内部的服务结构中,并融入到业务流程和日常操作之中。

  而且,IBM也已将“Secure by Design”计划考虑到软件设计中,针对于大型机的IBM Tivoli和IBM Information Management安全产品支持“Secure by Design”背后的理念,并提供用户管理、资源保护以及审计与合规性报告的解决方案。这也使得在目前分布式、多平台计算环境中,大型机更加适合于作为企业集中的安全中心,来支持和管理多个混合环境,以最大限度降低混合环境中的风险。

(责任编辑:蒙遗善)

时间: 2024-09-20 01:05:40

大数据时代来临 巨头破解密集计算困局的相关文章

大数据时代来临

前言:最近读了很多大数据分析的文章,感觉大数据时代来临.哈佛商业评论也开了一个新的栏目叫做"大数据".整理了一下所有收藏并准备记录的大数据分析文章,本文是最适合做第一篇分享的.文章以案例为支持,讲述了大数据分析的4个基本点.文章记录完后,yoyo也根据与英雄联盟数据分析组负责人的聊天,记录一些对大数据分析的思考. http://blogs.hbr.org/cs/2012/10/getting_started_on_a_big_data.html Inspiration: Big dat

大数据时代来临 CFO如何手握“大洞察”

风险.报表.现金.增长率.支出--这些都是企业的首席财务官必须关注的. 如今,"大数据"时代来临,据美国最佳实务研究和定量分析顶尖机构 CFO 执行委员会(CFO Executive Board)2011 年调查显示,全球的CFO需要面对一系列的挑战,CFO表示其公司的30%-80%的绩效潜力由于不达标的企业绩效管理而遭受损失:一些CFO声称损失比例高达80%:CFO将37%的时间用在绩效管理活动上(业务单元或企业级):超过70%的CFO表示,监视业务绩效.战略输入.成本削减.企业风险

大数据时代来临:轮番颠覆传统 行业望迎“并购潮”

现在已进入大数据时代,全球所有信息数据中90%产生于过去两年,大数据在两个方面表现出最重要的价值:一是促进信息消费,加快经济转型升级:二是关注社会民生,带动社会管理创新--这是百度创始人李彦宏日前在中关村,就大数据发展趋势所作的介绍. 究竟何为大数据?其所蕴含的变革突破的能量究竟有多大? 上证报记者通过大量研究以及采访多家公司和多位业内专家,为您揭开大数据的神秘面纱. 纸牌屋,一部普通的连续剧却广受大众欢迎:余额宝,一个普通产品却震撼了一个行业. 与此同时,银行业.零售业.媒体业等传统行业则感到

大数据时代来临 机遇敲门

对数字在行?对数据着迷?那么你听到的是机遇的敲门声. 周墨(音译,Mo Zhou)去年夏天刚刚完成耶鲁大学的MBA学业就被IBM抢走,加入了这家技术公司快速发展的数据顾问的队伍当中.他们帮助企业弄清楚数据爆炸的意义-Web流量.社交网络上的评论,以及监控货物.供应商及客户的软件和传感器上的数据,以提供决策指南.削减成本.拉动销售."我一直对数字情有独钟,"周小姐说.她是数据分析师,这个职位跟她的技能很配. 为了开发利用好这股数据洪流,美国需要大量像她这样的人.去年,咨询公司麦肯锡的的研

【独家】大数据时代来临 IT如何做好准备

(中云网 翻译)不管你有没有准备好,大数据时代都将来临.目前,IT经理需要做好以下5件事来迎接未来的海量数据的挑战. By David Linthicum | InfoWorld 你的"大数据"计划准备就绪了吗?如果没有,你可能要开始考虑设计一个了. 现今,大数据作为未来一项关键的战略资产备受推崇或者说过度炒作-这取决于你的个人看法,但这意味着任何一家企业的CEO都想知道IT对大数据的看法并如何迎接挑战,这只是时间问题而已. 那如何回到CEO们呢?可以肯定的是,对于大多数IT部门来说,

大数据时代来临,旅游业如何应对?

摘要: 自2012年起,大数据成为全球热门的互联网热词,被用来描述和定义信息爆炸时代产生的海量数据.它到底有多大?一组来自互联网的数据显示:一天之中,互联网产生的全部内容可以刻 自2012年起,"大数据"成为全球热门的互联网热词,被用来描述和定义信息爆炸时代产生的海量数据.它到底有多大?一组来自互联网的数据显示:一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多;发出的社区帖子达200万个-- 2012年12月,英国人维克托·迈尔·舍恩伯格所著的&l

大数据时代来临 精準掌握客户是王道

大数据平台 大数据中心 网络大数据(http://www.raincent.com) 大数据是什么?举个例子吧,<理财周刊>在便利商店销售,可以知道购买我们杂誌的性别.年龄层分布在哪些族群,这些资料怎么来的?其实很简单,当消费者在便利商店购物时,店员同时也在收银机中输入了你的简单基本资料,例如性别.预估年龄,年龄当然是预估的,但至少提供了行销时可以参考的资料,我们就可以依照购买族群设计规划适合的内容. 现在电子商务盛行,网路购物行为被记录下来更是容易,不知道你有没有发现,你在购物网站搜寻了某个

大数据时代来临 中国产业面临全面升级

当今中国,产业格局变幻莫测,很多企业还躺在传统的经营模式中固步自封.彷徨观望时,一些世界顶级企业已经投身大数据的海洋中,包括IBM.谷歌.微软.英特尔.戴尔等企业纷纷拥抱大数据时代的来临. "每个企业都要有一个大数据的战略,有的话,你会在数据鸿沟的右面,如果没有,可能就在数据鸿沟的左边,这样企业之间就会产生竞争差异."微软全球资深副总裁张亚勤在参加2013产业中国年会时做此阐述. 在全球技术革命与中国转型机遇的双重催生之下,中国产业正在经历前所未有的蜕变,如何在全球技术和产业变局中洞悉

大数据时代来临 数据改变企业经营

正在到来的数据革命将如何改变企业的经营.政府的服务乃至普通人的社会生活? 在你出生的那一刻:男孩.7斤8两,而你的父母不再争论你长得像谁,因为他们早就知道了关于你的一切.计算机通过计算你的基因.出生环境等遗传信息,数据分析的结果你会有43%像母亲.57%像父亲,而你的未来的一切更是清晰可见:你的智力水平决定你只会上当地大学(你就不用太努力读书考清华.北大或者耶鲁.哈佛了).你不擅长滑雪但擅长跑步(跳远也不太行).你是个异性恋会喜欢棕色头发的苗条女孩(根据GPS和其他信息的推断,她将会在你隔壁的隔