大数据挑战:企业需要共享式服务模型

大数据正如火如荼,是继云计算之后的又一热词。大数据具有前所未
有的
大量化、快速化和多样化三大特点,这些是许多新技术背后的驱动力,这些技术可帮助企业处理大数据带来的多种新问题。

  在诸多的新兴解决方案中,Hadoop和MapReduce被视为是两种大有希望的方法,可高效管理和分析大数据。但目前针对MapReduce应用的运行时引擎还无法提供足够功能来满足企业希望在生产环境中部署MapReduce应用的实际需求。

  对企业IT部门来说,先进的运行时引擎应该是这样一种管理工具:它可以在满足高标准服务水平协议(SLA)的同时,支持企业里的各业务部门。这类管理工具应该能够支持混合类型的工作负载,包括MapReduce应用及业务部门在共享式网格上智能化提交的其他应用。

  此外,如今的IT部门正在经历重大转变。在许多情况下,IT部门不再只是个成本中心,相反,它被视作是支持企业里各业务部门的服务提供者。预算有限、工作负载需求加大,使得IT部门面临巨大的压力,必须进一步充分利用现有的基础架构,最大限度地提高总的资源利用率。

  让在基础架构方面的投资迅速获得回报是IT部门在做采购决策时最重要的考量因素之一。能充分利用现有的基础架构,满足更高的工作负载需求,并实时动态地满足需求,进一步节省成本,提高投资回报,无疑是企业希望寻找的解决方案。

  为了支持MapReduce应用等新型应用,IT部门迫切需要一种共享式服务运行时平台以获得更好的性能、更高的资源利用率、自动监控和诊断功能,同时也需要IT基础架构能提供更高级的应用生命周期支持。

  何谓共享式服务模型?

  共享式服务模型是指这样一种基础架构平台:它允许多个应用(无论其类型和要求是什么)能够在共享式基础架构上并行执行。共享式服务模型常常由一种先进的应用调度和资源管理引擎来管理,为它所支持的企业里的多个业务部门提供有保障的服务。

  共享式服务IT模型提供以下几个重要好处:

  少花钱多办事

  迅速获得基础架构方面的投资回报

  提供更好的可管理性

  有更好的可扩展性和灵活性以支持不断变化的应用需求

  利用收费政策,让IT部门的角色从成本中心转变成盈利中心

  现有的Hadoop MapReduce运行时引擎面临的挑战

  遗憾的是,目前MapReduce运行时引擎的Hadoop实现无法提供上述的共享式服务功能。这归因于Hadoop作业跟踪器(Hadoop JobTracker)的基本架构设计Hadoop作业跟踪器是一个管理层,在运行期间为MapReduce作业提供必要的服务。

  目前的Hadoop作业跟踪器还无法把作业调度逻辑与资源管理逻辑分离开来,这直接导致了下列重大缺陷:

  缺少企业级能力。在任何一个时间,只有一个MapReduce应用可以在集群上运行。因而,资源变成了静态的和用途单一的;而应用也是串行执行,而不是并行执行,导致无法有效利用的资源、形成烟囱式的IT环境,限制了可扩展性。

  作业跟踪器成为单一故障点。如果作业跟踪器出现故障,所有运行中的作业都将停止。

  很显然,目前Hadoop作业跟踪器能力有限,无法提供IT部门在生产级环境中部署MapReduce应用所需的共享式服务功能。

  借助Platform Symphony MapReduce提供共享式服务

  Platform Symphony MapReduce是一种生产级、分布式的运行时引擎,用于管理规模化的大数据应用。Platform Symphony MapReduce为企业运行大数据应用提供了下列独特好处:

  能够为IT部门带来一种共享式服务平台

  提高资源利用率,加大基础架构方面的投资回报

  能够在企业里实现完善的服务水平协议

  提供更高的性能、缩短获得结果的时间

  简化IT管理,降低管理复杂IT环境的总成本

  加强IT敏捷性

  如何部署共享式服务模型?

  企业应该视不同的业务要求使用以下方法部署共享式服务模型:

  1. “烟囱式共享模型”为不同的业务部门提供有保障的资源。IT部门根据不同业务部门的特定需求,为它们提供有保障的资源。业务部门向集中式IT部门请求 一定数量的资源,专门供自己使用。然后,那些请求被定义为策略,加入到资源分配方案中。不同业务部门之间不共享资源。集中式IT部门负责管理资源分配、系 统监控和故障排除。

  2. “代理式共享模型”企业内部跨各职能领域的资源共享。企业内部的不同职能部门共享一组通用的IT资源,资源共享策略根据不同业务部门的特定需求来予以 定义,然后加入到资源分配方案中。不是为某个业务部门单独分配静态资源,而是通过动态共享整个基础架构,从而为用户提供有保障的资源。

(责任编辑:蒙遗善)

时间: 2024-09-06 05:41:12

大数据挑战:企业需要共享式服务模型的相关文章

应对大数据挑战 企业需共享式服务模型

本文讲的是应对大数据挑战 企业需共享式服务模型,大数据来袭!当企业准备把自己的MapReduce应用从实验环境迁移到生产环境时,共享式服务模型将为这种迁移提供许多重要功能,并加快迁移步伐. 大数据是当今科技行业发展速度最快的领域之一.大数据具有前所未有的大量化.快速化和多样化三大特点,这些是许多新技术背后的驱动力,这些技术可帮助企业处理大数据带来的多种新问题. 在诸多的新兴解决方案中,Hadoop和MapReduce被视为是两种大有希望的方法,可高效管理和分析大数据.但目前针对MapReduce

HP姚翔:大数据应对企业安全业务新挑战

本文讲的是HP姚翔:大数据应对企业安全业务新挑战,在月初刚刚结束的RSA2013(美国)大会上,大数据安全成了众多厂商热议的话题,同时也成为今年业界最为关注的技术热点之一.包括惠普在内的众多厂商都推出了和大数据安全相关的产品与解决方案.在日前举行的媒体沟通会上,惠普企业安全产品部北亚区总经理姚翔和媒体分享了企业目前面临的风险变化,以及惠普在大数据安全方面的成绩,并介绍惠普如何通过大数据来实现大安全. ▲惠普企业安全产品部北亚区总经理姚翔 企业安全业务面临的问题 姚翔首先总结到,新环境下企业安全目

大数据初创企业面临的五大挑战

近几年,数据逐渐成为驱动业务的主要推动力. 更重要的是,大数据是可以帮助企业改善策略,提高运营效率和加速增长. 75% 的龙头企业说,他们已经或计划在未来几年在大数据基础设施方面布局.大量的新的和令人兴奋的大数据初创公司出现来满足企业客户日益增长的需求. 虽然大数据吸引力巨大,但是考虑到66% 的创业公司一般会在12个月失败,大数据初创公司们仍然面临着很多挑战. 挑战一 缺乏人才 大数据市场在不断增长,60%的领导者认为他们今年在大数据运营上会花费更多,只有5%预测预算会减少,最大的问题在于,这

IT现状调查:大数据时代 企业面临挑战

[IT168 调查报告]2012-2013中国IT技术趋势大调查活动于2012年10月16日启动,历经1个月的时间.在线调查期间,受到了来自ITPUB.ChinaUnix(以下简称CU)以及其它合作网站的网友的极大关注和积极参与.目前调查已经完满结束,所有的数据都在后台整理和统计之中.本次网上调查共回收调查问卷17,101份问卷,其中合格问卷为14,522份.从整体上看,今年的调查更专注,无论从数量上还是质量上都较去年有比较大的提高. 本次调查的内容涉及:企业信息化.http://www.ali

企业CIO解决大数据挑战 先回答三个问题

当今,大数据的到来,已经成为现实生活中无法逃避的挑战.每当我们要做出决策的时候,大数据就无处不在.大数据术语广泛地出现也使得人们渐渐明白了它的重要性.大数据渐渐向人们展现了它为学术.工业和政府带来的巨大机遇.与此同时,大数据也向参与的各方提出了巨大的挑战,首先是三个重要的技术问题: 一.如何利用信息技术等手段处理非结构化和半结构化数据 大数据中,结构化数据只占15%左右,其余的85%都是非结构化的数据,它们大量存在于社交网络.互联网和电子商务等领域.另一方面,也许有90%的数据来自开源数据,其余

赛迪顾问:大数据时代企业须打好信息资源整合攻坚战

ZDNET至顶网CIO与应用频道 06月23日 北京消息:数据被认为是新时期的基础生活资料与市场要素,重要程度不亚于物质资产和人力资本.近年来,企业产生的数据量呈指数级增长,信息资源爆炸式激增,其中非结构化的数据信息达到85%左右,传统的信息资源管理技术已经无法应对大数据时代的挑战.Hadoop等大数据技术和其他大数据工具和设备的出现以及云计算数据处理与应用模式的广泛运用,为企业处理日益增长的海量非结构化数据提供了高效.可扩展的低成本解决方案,弥补了传统关系型数据库或数据仓库处理非结构化数据方面

大数据时代 企业须打好信息资源攻坚战

文章讲的是大数据时代 企业须打好信息资源攻坚战,数据被认为是新时期的基础生活资料与市场要素,重要程度不亚于物质资产和人力资本.近年来,企业产生的数据量呈指数级增长,信息资源爆炸式激增,其中非结构化的数据信息达到85%左右,传统的信息资源管理技术已经无法应对大数据时代的挑战.大数据技术和其他大数据工具与设备的出现,以及云计算数据处理与应用模式的广泛运用,为企业处理日益增长的海量非结构化数据提供了高效.可扩展的低成本解决方案,弥补了传统关系型数据库或数据仓库处理非结构化数据方面的不足,深化和拓展了企

Hadoop的虚拟化之恋:应对大数据挑战

文章讲的是Hadoop的虚拟化之恋:应对大数据挑战,高速增长的数据量和日益增加的竞争压力,让越来越多的企业开始思考如何挖掘这些数据的价值.传统的BI系统.数据仓库和数据库系统都不能很好地处理这些数据.原因包括: 1.数据量太大,传统数据库不能有效存储并维持可以接受的性能; 2.新产生的数据往往是非结构化的,而传统方式都是为处理结构化数据而设计的; 3.传统数据处理所需的硬件往往相对昂贵,随着数据量增加而继续用传统方式处理的成本让很多企业不能承受.为此,倍受互联网界推崇的Apache Hadoop

大数据时代企业安全面临巨大威胁 360腾讯加紧布局

2014中国互联网大会于日前在北京国际会议中心召开,在8月27日上午的中国网络安全分论坛上,对大数据时代的企业安全的探讨成为论坛上一个重要的话题,360和腾讯等安全领域龙头均在演讲或讨论中透露出下一步在大数据时代企业安全上的布局. 近一两年,大数据这个词在互联网上火了起来,但究竟什么是大数据,对于普通用户来说还是有些难懂.其实每位用户在电脑.手机屏幕上看到的任何一个简单易用的交互窗口,背后都是有大数据引擎给予支撑. 腾讯副总裁丁珂在其题为<大数据时代的企业安全新格局>的演讲中提到,大数据引擎成