何英华:大数据时代的存储之道

本文讲的是何英华:大数据时代的存储之道,当前,随着企业规模的不断成长,有效存储和管理长期累积的且仍在持续快速增长的海量数据,从中发掘商业价值,意味着巨大的市场机遇;同时,也带来了严峻的挑战:大数据将挑战企业在存储架构及数据中心基础设施等,也会引发数据仓库、数据挖掘、商业智能、云计算等应用的连锁反应。如何选择有效的组织管理数据,提供商业解决方案,已经不是单纯的IT技术问题,而是与企业未来发展前途攸关的关键性问题。

  面对大数据存在的机遇与挑战,在以“海量数据 深度分析 智慧商业”为主题的第二届大数据世界论坛上来自不同行业的专家就大数据的发展与机遇做了详细的介绍。

  NetApp大中华区技术及专业服务部总监何英华就大数据时代的存储之道作了主题发言。

  何英华指出,大数据指的是那些超越了传统典型工具可以采集、存储、管理和分析的数据集合。大数据就是大量、速度快、比较复杂,还有结构性、非结构性,它可能是一个电邮,可能是一个图片,可能是不同的数据、影像等等。

  大分析(Analytics)、高带宽(Banduidth)、大内容(Content)就是ABC。大分析:分析是要对数据有一个洞见,超大数据的实时分析;高带宽:数据一来就要分析结果,做出报表;大内容:大内容是基本上不要丢失任何的东西。


▲ NetApp大中华区技术及专业服务部总监 何英华

  把数据放到不同的存储,拿出来到放计算机的时候需要一个非常好的硬盘渠道,通过很大的带宽,在中间不能丢失任何数据。怎么样在存储方面体现出?

  大数据——保持简单

  我们的策略也是非常简单的,就是ABC这样来做。所以,在不同的地方我们用不同的应用,在分析方面提到大数据,每一个厂家都提到Hadoop,Hadoop应该是有一个非常创新的联盟,在开发Hadoop应用有实时的分析等等。在高带宽方面有一些video方面要处理,在大内容上有一些内容。在这三个方面都有开发产品去应和。

  大数据存储市场的机会

  在大分析、高带宽、大内容来看,Netapp在大容量方面作为领先的一个供应商,每年的增长是35%,在未来我们可以看到有更高容量的增长。

  Analytics 大分析之Netapp解决方案

  企业级Hadoop解决方案。打包集成的部署就绪的模块化Hadoop集群,我们有一个策略联盟,Hadoop的创始人就是在这个公司里做CIO。我们和Hadoop中是密不可分的关系,放到我们的存储中,在容量方面会有160%的增长。所以,在大分析的地方作为一个联盟来达到结果。

  Banduidth高带宽之Netapp解决方案

  全动态视频存储解决方案。去年我们收购了一系列存储系统,在这些方面可以对带宽速度需要非常高的数据进行存储管理,我们通过一系列的产品来达到这方面的解决方案,达到30GB/S的峰值,其他很难有产品可以达到。

  Banduidth高性能计算 HPC-Lustre解决方案。

  在不同的行业,比如政府,国防,能源,石油方面,制造业方面,我们都有非常好的案例。

  Content 大内容之Netapp解决方案

  存储方面StorageGRID这个产品,它有不同的协议,有CIFS、NFS、RESTfulhTTP等存储协议,也是上几万亿对象存储的一个产品。

  大数据存储的IT采购标准

  如果要做大数据,在存储采购方面有什么考虑?在这方面,我跟大家谈的就是几个方向:

  1、向上扩展与向外扩展。我们最常常说话的scale out就是横向和纵向的扩展,我们这里是向上扩展和向外自扩展能力是非常大的,加上 scale out集群的应用可以支持横向的应用。

  2、工作负载优化架构。大数据处理的实时是非常重要的,在负载方面有非常好的能力。

  3、整合的数据保护。

  4、不中断的运营。一天24小时不中断的运营,扩展的时间也是可以不停机的,用户一天24小时,一个星期7天都可以应用。但是对于数据中心的管理员来说,也可以增加很多部署,比如增加硬盘、增加磁盘、增加节点,把数据从不同的地方迁移,做一些整合等等,所以这是一个不中断的营运。

  5、服务自动化。

  在大数据的应用开发采购方面,我们给用户一些建议,我们都可以达到这些要求。

  ONTAP和E系列的应用领域

  数据从总部到偏远的地方,我们都可以用到Data ONTAP管理。而E系列,在大数据方面分析、卫星拍下来的影像等等,在医疗行业方面系统的应用。所以,部门和行业的应用是在E系列。

  在大数据里面很多的应用都具备E系列和FSA都是无缝的,这两个产品有一个非常好的作用,它是一个非常高性能的应用。

  Analytics、Banduidth、Content,我们有很好的专业服务,可以帮助我们的客户去开发Hadoop和工具来发展应用,在带宽方面我们有很多计算,在内容方面我们有对象存储,我们都在FSA系列和E系列都有分工,有无缝的连接。

作者: 李伟

来源: IT168

原文标题:何英华:大数据时代的存储之道

时间: 2024-09-20 05:52:54

何英华:大数据时代的存储之道的相关文章

大数据时代:存储选择变幻莫测

文章讲的是大数据时代:存储选择变幻莫测,随着企业级大数据存储需求的不断增加,存储厂商和系统管理人员都需要确定在大数据环境下的最佳实践是怎样的.因此,我们看到有越来越多像是Hadoop和"云"之类的东西.但根据Toigo Partners International的最主要的合作伙伴Jon Toigo的看法,这些方法并不是大数据环境下最好的. 在本文中,Toigo与网站编辑助理Sarah Wilson就大数据环境下的存储市场变革进行了讨论.收听音频或阅读下文中的对话内容,了解他关于大数据

《数据分析变革:大数据时代精准决策之道》一导读

前 言 数据分析变革:大数据时代精准决策之道正如19世纪的制造业所经历的那样,如今的分析领域也需要经受一场"工业革命".当下的分析流程多以一种像手工艺式的方式创建,需要花费很多心思和定制化服务.在大多情况下这种手工艺式的方法仍是适用的.然而,我们也必须将数据分析的规模和影响推进到一个更高的层级.工业革命使制造流程实现了从手工制作到大规模高质量生产的现代科技奇迹.在分析领域也必须要发生同样的变革. 几百年前,如果人们需要一个碗,则需要去找陶艺工人,他可以根据任何需求定制出一个碗来.但问题

《数据分析变革:大数据时代精准决策之道》一第1章 了解运营型分析1.1 定义运营型分析

第1章 了解运营型分析 数据分析变革:大数据时代精准决策之道 毋庸置疑,巨大变革正在发生!运营型分析正在引领以分析为特征的工业革命,很多公司运用分析手段的疆界也因此不断向前推进.运营型分析将源源不断地显著增加那些必须执行分析来构建和加速的流程数目.后面我们会提到,诸如决策时限以及数据洞察时间等新概念将会成为影响如何投入以及决定关注方向的主要推动力. 运营型分析需要在整个企业内部建立一套规则明确.条理清晰的指导方法,同时还需要很多技术.流程甚至是企业文化方面的配套变更.人们起初并不习惯把许多日常决

赵国栋:大数据时代经济发展转型之道

文章讲的是赵国栋:大数据时代经济发展转型之道,2015年7月19日,以"开源大数据技术的生态与应用"为主题的"第四届中国大数据应用论坛"在北京大学隆重举办.本次论坛由北京大学信息化与信息管理研究中心和中国新一代IT产业推进联盟主办,北京大学CIO班教务办公室和北达软协办,CIO时代网承办.活动当天来自业界的专家领导.大数据专家.技术大咖.知名企业CIO.知名媒体等近200位嘉宾参与了此次盛会.本届论坛的主题聚焦开源大数据技术的生态与应用,嘉宾们分别从不同的侧面揭示了

《数据分析变革:大数据时代精准决策之道》一第2章 更多数据……巨多数据……大数据!

第2章 更多数据--巨多数据--大数据! 数据分析变革:大数据时代精准决策之道 如果你所在的企业正在利用大数据支撑运营型分析工作,本章讲的正是这时你需要掌握和了解的那些关乎大数据的重要趋势.过去的许多年间,企业积累的数据越来越多.尤其是到了近几年,数据累积的节奏开始加速.今天,数据格式往往呈现新颖化的趋势,分析手段往往呈现多样化的趋势.大数据正是在这个趋势上打的标签,它带来的是更大的数据挑战,更多的数据源,以及不同的数据格式. 当一家企业开始思考大数据,并且思考大数据将如何影响企业的业务分析流程

《数据分析变革:大数据时代精准决策之道》一第一部分 变革已然开始

第一部分 变革已然开始 数据分析变革:大数据时代精准决策之道本文仅用于学习和交流目的,不代表异步社区观点.非商业转载请注明作译者.出处,并保留本文的原始链接.

大数据时代企业级存储5大趋势

由于业务板块发展的速度与日俱增,现在大型组织开始面临着非常大的压力,需要有全天候提供最为经济高效且具有最高性能的 IT 支持服务.而信息作为组织最宝贵的资产,通常也具有最高的维护成本.如今的组织已经认识到大数据时代快速地存储.保护.访问和分析数据,同时安全且经济高效地管理数据,是业务成败的关键所在. 2014 年,企业需要继续运用IT 基础架构来快速且高效地交付高质量服务,而以下大数据时代5大企业级存储趋势是不能忽略的. 闪存的经济效益 闪存能够用比传统旋转盘片式磁盘快得多的速度来处理数据,这是

《数据分析变革:大数据时代精准决策之道》一2.3 纵观全局看待大数据

2.3 纵观全局看待大数据 大数据是如何适应现状的?为什么说大数据具有特殊性?大数据以后发展方向是什么?这些问题都很常见,大多数企业都会碰到.就像所有新鲜事物一样,关于大数据究竟能干哪些事情,肯定也会出现混淆和不一致的地方.本节探讨的正是那些必须理解的主题和概念,这样我们才能纵观全局,全面地思考大数据.把大数据放到正确的背景下思考,这样在使用大数据做运营型分析时,会更容易达成目标. 2.3.1 与其说是大数据,还不如说是差异化数据 正如本章先前所述,大数据让人兴奋的原因之一是它包含了新的信息.但

《数据分析变革:大数据时代精准决策之道》一2.2 为大数据做好准备

2.2 为大数据做好准备 如果企业现在对大数据已经有了正确的期望认知,那它应该再做好哪些准备呢?在制定大数据战略时,哪些概念最重要?本节讨论的正是可以帮我们做好准备,穿越大数据的炒作迷雾的话题. 2.2.1 大数据浪潮已经到来 毫无疑问,数据浪潮已经到来,每一家企业都要有能力驾驭数据浪潮,这样才能勇立潮头.这正是我所编写的<驾驭大数据>一书[6]的主题.我之所以选这个名字,是因为海洋是数据的一个非常好的比喻.试想乱石穿空.惊涛拍岸的场景.如果你坐在汽车内胎上,浪涛打身,这时即使浪涛不比你的腰身