企业大数据部署的新选择

ZDNet至顶网服务器频道 12月23日 新闻消息:直至今日,企业虽然认识到大数据分析能给企业带来发展的价值,但传统的数据管理和安全问题已经阻碍了大数据的部署。

企业在什么情况下适合大数据,这是由企业处于发展中的位置决定的。

许多提供大数据业务的厂商肯定都争相想做企业的生意。毕竟,大的数据不是最小的数据集合,但大数据需要充分利用尽可能多的数据管理。如果你正在寻找一个部署大数据的定义,这却不是完整的定义。你需要一个增长的数据中心基础设施相匹配所有这些增长的数据。

这个大的数据热潮才真正开始与Apache Hadoop的分布式文件系统(HDFS),开启了基于成本效益规模的服务器使用相对便宜的本地磁盘群集的作为海量数据分析的时代。不管企业发展如何迅速,Hadoop及其相关大数据的解决方案,都可以保证持续分析各种原始数据(即,不完全结构化的数据库)。

问题在于,一旦你想从大数据入手,会发现传统的数据项目,包括那些熟悉的企业数据管理问题又会涌现出来了,比如数据的安全性,可靠性,性能和如何保护数据。

虽然Hadoop HDFS已经趋于成熟,但仍有不少差距以满足企业需求。事实证明,当大数据在进行产品生产数据收集时,这些存储集群(DAS)上的产品可能实际上没有提供最低的成本核算。

这里面,最关键的一点其实是大企业如何将大数据盘活了。我们当然不是想简单地拷贝、移动、备份大数据数据副本,复制大数据是一个大的工作。我们需要管理作为安全和谨慎,甚至更多的要求,所以,比小的不同的数据库,不要抱着尽可能多的详细信息。如果我们的关键业务流程的基础上新的大数据的储存中,我们会需要它的所有的操作弹性和高性能。

大数据归属的新选择

物理DAS仍然是Hadoop最好的存储介质,因为相关的高水平的专业和业务的公司的都是经过研究和实践来确定存储介质。但这样基于HDFS的数据储存却有很大的问题。

首先,默认方案是所有资料进行复制,移动,然后备份。HDFS是基于大数据块的I/O优化,省去了数据交互的时间。以后的使用通常意味着数据复制出来。尽管有本地快照,但他们并不完全一致或时间点不完全可恢复。

对于这些和其他原因,企业存储厂商聪明的将HDFS做改变,一些技术狂人类型的大数据专家使Hadoop计算利用外部存储。但对许多企业来说,它提供了一个很好的妥协:无需高维护存储或存储新的维护方式的适应,但这有一定的成本。

许多供应商,如EMC的 isilon提供对Hadoop集群远程HDFS的接口,是生意量比较大的企业首选。因为他们将是在isilon里,进行任何其他数据处理大数据的保护,其中包括安全和其他问题。另一个好处是,在外部存储的数据通常可以访问其他协议(如网络文件系统,NFS)的储存,支持工作流和限制数据的传输和企业内需要的数据副本。NetApp也基于这样的原理处理大数据,一个大的数据参考架构,结合一个组合的存储解决方案,直接进入Hadoop集群。

另外值得一提的是,虚拟化大数据分析。理论上,所有计算和存储节点可以都可以进行虚拟化。VMware和RedHat/OpenStack有Hadoop的虚拟化解决方案。然而,几乎所有的HDFS主机节点不能解决企业的存储问题。一个有创意的新公司bluedata提出一个新的选择。它模拟Hadoop计算方面使企业把现有的数据集——SAN/NAS——加速和转储到它的HDFS的覆盖之下。在这种方式中,大数据分析可以做到一个数据中心的数据没有任何变动,从而使用新的存储架构和新的数据流或数据管理的所有变化。

大多数Hadoop分布都是从近Apache的开源HDFS(目前软件定义的存储大数据)开始,区别是它们采取了不同的方法。这基本上就是企业Hadoop所需存储,从而建立自己的兼容存储层在Hadoop HDFS上。MAPR版本是完全有能力处理I/O快照复制的支持,同时和原生支持的其他协议兼容,如NFS。它也非常有效,并有助于主要提供企业业务智能应用程序,运行决策支持解决方案依赖于大数据的历史和实时信息。类似的想法,IBM已经出炉的高性能计算系统存储API为Hadoop发行版作为一种替代HDFS。

另一个有趣的解决方案可以帮助解决数据的问题。一个是dataguise,数据安全启动,能切实有效地保护Hadoop的大数据集的一些独特的IP,它可以在一个大的数据聚类自动识别和全局覆盖或加密敏感资料。水平线数据科学(Water LineScience)是这个领域的新兴技术,如果你连线登陆你的数据文件到Hadoop,无论数据在哪里,即使是HDFS,它都将自动储存。 大数据提供的产出物有助于快速建立商业应用,利用数据的来源和位置来统计商业所需的资料。

如果你一直持有Hadoop的管理或企业数据中心存储的兴趣,这是一个好时机去update自己对大数据的了解,如果你想跟得上大数据的脚步,就不应该拒绝新技术的应用。

原文发布时间为:2014年12月23日

本文来自合作伙伴至顶网,了解相关信息可以关注至顶网。

时间: 2024-09-12 14:34:32

企业大数据部署的新选择的相关文章

甲骨文Oracle大数据SQL加速企业大数据部署

[天极网服务器频道7月25日消息]甲骨文公司推出了Oracle大数据SQL(Oracle Big Data SQL),该款基于SQL的软件,可跨Hadoop.NoSQL和Oracle数据库进行同一个SQL查询.Oracle大数据SQL在Oracle大数据机(Oracle Big Data Appliance)上运行,可与Oracle Exadata数据库云服务器配合使用. Oracle大数据SQL提供基于SQL的流行商务智能工具和应用,更易于访问传统数据仓库以外的Hadoop和NoSQL数据源.

多数企业将云视为大数据部署的最佳平台

2016年即将结束,一项新的调查结果表明,大数据技术在云环境下正发展成熟且规模快速增长. 作为利用OLAP类多维数据集立足Hadoop进行商务智能分析的专业企业,AtScale公司最近对来自77个国家1400家公司的2550多位大数据专家进行了调查.此项调查还邀请到了Cloudera.Hortonworks.MapR.Cognizant.Trifacta以及Tableau等各方共同参与. AtScale公司的这份<2016年大数据成熟度调查>发现,近70%的受访者已经拥有超过一年的大数据技术使

云计算大数据被提新高度

计算机行业-"数据+产业+金融"三维研究体系之数据端推进点评:数据纲要和软件百家企业相继发布,云计算大数据被提新高度. 事件: 1.9月10日晚,根据国家统计局批准.工业和信息化部统计的2014年全国软件和信息技术服务业年报数据为基础, 2015年(第14届)中国软件业 务收入前百家企业(以下简称软件百家企业)揭晓.华为技术有限公司以软件业务年收入1482亿元,连续十四年蝉联软件百家企业之首,浪潮集团荣获第四位. 2.9月6日,国务院发布<促进大数据发展行动纲要>:信息技术

海致布局企业大数据服务

记者今日获悉:海致网聚网络技术公司(以下简称"海致")已完成C轮3000万美元融资,以2.5亿美元估值成为中国估值最高的大数据创业公司.这也是该数据公司继2014年接受多家国内外顶级风投注资后,再一次获得资本市场追捧. 海致旗下BDP商业数据平台自2014年上市以来已经为几百家企业提供了云端可视化数据分析服务,成为名副其实的中国企业大数据服务领跑者.在过去的半年里,雀巢中国.华联超市.58到家等三家拥有亿万消费者的企业,在采购新数据系统时均选择部署了基于云计算的海致BDP商业数据平台.

【阿里在线技术峰会】李金波:企业大数据平台仓库架构建设思路

本文根据阿里云高级技术专家李金波在首届阿里巴巴在线峰会的<企业大数据平台仓库架构建设思路>的分享整理而成.随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化.半结构化.非结构化数据的产生,越来越多的企业开始在大数据平台下进行数据处理.分享中,李金波主要从总体思路.模型设计.数加架构.数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库. 直播视频: (点击图片查看视频) 幻灯片下载:点此进入 以下为整理内容. 总体思路 随着互联网规模不断的扩大,数据也在爆炸式

《机器人操作系统ROS原理与应用》——3.1 企业大数据解决方案实现方式

3.1 企业大数据解决方案实现方式 工欲善其事必先利其器,企业大数据解决方案既包括大数据产品和工具层面,又包括服务层面.企业大数据解决方案根据实现方式的不同可分为完全独立研发.直接购买第三方解决方案和借助第三方的力量进行联合开发三种. 3.1.1 独立研发 独立研发指的是企业内部通过组建大数据中心或部门,独立进行大数据项目的研发.企业独立研发大数据平台,在数据安全.技术可控.后期扩展等方面具有重要意义. 数据安全:独立研发过程中的所有数据从输入端到输出端的整个流通都在企业内部进行,数据不会因为平

国双续扬:大数据时代的新媒体发展

文章讲的是国双续扬:大数据时代的新媒体发展,最近两年, 有一些行业趋势在非常明显,用关键词来总结就是:大数据.OTT.多屏互动.大数据是从互联网和IT领域发展起来的一个专业术语,它存在于各个领域.各行各业;而"OTT"."多屏互动"是广电行业的专业术语,但它们和大数据有关,和广大受众的媒体体验更是密切相关. 第一个关键词是大数据,可以说这是眼下整个TMT行业的大背景.互联网发展到今天,生产.存储.积累的数据量之大,已经超越了一般人所能想象的范围.数据让人们不仅能掌握

刷新大数据技术知识新高度的MaxCompute 2.0就要来了

中国云计算产业最具影响力的盛会之一--2016杭州云栖大会(https://yunqi.aliyun.com/)将在云栖小镇召开.连续举办七届的云栖大会一直是业界了解阿里云计算生态发展和应用趋势.体验前沿技术和产品的最佳平台,来自海内外的上万名开发者.创业者聚集于此,分享着他们对云计算的思考与实践经验.7年来,从产品发布到行业解决方案展示,从关注技术到技术与服务并重,从单一的客户到生态全景的展现,大会的核心内容一直在"进化",而2016年杭州云栖大会,则以"飞天・进化&quo

切实把握大数据时代的新机遇新变革

大数据时代正在来临.被称为21世纪的石油和金矿的大数据,成为一个国家提升综合竞争力的又一关键资源.在新的数字世界当中,数据成为最宝贵的生产要素,顺应趋势.积极谋变的国家和企业将乘势崛起,成为新的领军者:无动于衷.墨守成规的组织将逐渐被边缘化,失去竞争的活力和动力.对于进入新常态的我国而言,大数据在经济社会发展中的基础性.战略性.先导性地位将越来越突出.唯有把握机遇,顺应形势,按照建设制造强国和网络强国的战略部署,加强信息基础设施建设,提升信息产业支撑能力,构建完善以数据为核心的大数据产业链,才能