读《大数据处理之道》--Spark星火燎燃,Spark是否可以支持运营商的数据处理工作

Spark同时支持复杂的批处理、互操作和流计算,而且兼容支持HDFS和Amazon S3等分布式文件系统。Spark是否可以替换现有运营商的数据批处理工作?

运营商的数据仓库一直以来采用的小型机+关系型数据库的方式的建设,随着大数据技术在互联网的使用,运营商也在考虑逐步用大数据平台替换现有的数据仓库建设方式。但始终在探索,要真正的落地实施还有一段很长的路要走。

某省运营商的数据仓库离线数据处理数据架构分为五层,分别是接口层,负责接口的装载,设计原则是与原系统结构保持相同;存储层,负责全量数据的存储,这层只做少量的转换工作,其主要的动作是增量转全量;汇总层,负责数据颗粒度的降低,在纵向上,按照业务的要求,把海量数据的单表的数据颗粒度降低。在横向上,进行关联,把单表的字节数减少;中心区,负责计算口径和业务口径的固化,大量的口径和复杂算法是在本层实现的;最后一层是应用层,负责应用表的展示,核心思想是对应用展现的缓冲。目前集成商在对数据仓库通过大数据技术进行优化时,考虑接口层和存储层放在Hadoop平台上实现,通过ETL工具将文件数据加载到HDFS上,HIVE完成存储层数据的处理。汇总层和中心区因涉及到大量的关联迭代操作,将这两层放到MPP中。应用层用关系型数据库进行处理。但这样存在一个问题,因为跨库的数据传输导致的数据处理效率的低下。既然Spark能够支持复杂的批处理,而且兼容支持HDFS,是否可以将其中的汇总层和中心区用spark进行处理,减少跨库的数据传输导致的效率问题。同时建立增量处理模型,实时呈现当日的关键数据指标。

另一问题是否还有必要建立五层的数据架构模式?个人觉得五层的数据架构不能很好体现大数据技术的优势。需要好好考虑,如果改变数据架构,整个数据仓库等于进行了重构,运营商是否有魄力进行改变。

时间: 2024-11-12 17:08:10

读《大数据处理之道》--Spark星火燎燃,Spark是否可以支持运营商的数据处理工作的相关文章

云计算大数据潮起 运营商不进则退

2015年是云计算和大数据的"政策大年".从年初开始,各种政策利好频频到来,发展云计算和大数据已经上升到国家战略层面.借助政策"春风",云计算和大数据产业蓬勃发展,市场规模不断扩大,产业生态正在形成,越来越多的传统行业开始拥抱云计算和大数据,电信运营商面临新的机遇和挑战. 政策利好频出 鉴于云计算和大数据在新一轮产业革命中发挥的重要作用,越来越多的国家将发展云计算和大数据上升为国家战略.2015年上半年,我国相继发布了多个有关云计算和大数据的重磅政策,密度和力度之大

忽略大数据 运营商将损失诸多谋利机遇

据国外http://www.aliyun.com/zixun/aggregation/31646.html">媒体报道,市场研究机构Ovum日前表示,预测和减少客户流失.增进用户忠诚度.增值和交叉销售产品及个性化服务是电信运营商可以利用大数据分析谋取商业利益的所有关键领域.然而,运营商至今并未对其善加利用,其中的一个主要原因是传统的绊脚石电信运营商的组织结构和数据结构. Ovum在其最新开展的一项电信运营商如何利用客户数据牟利的调查中发现,成功执行一项大数据分析项目需要灵活的业务结构和逻辑

中国移动钱岭:电信运营商大数据商务模式研究

[CSDN现场报道]2014年12月12-14日,由中国计算机学会(CCF)主办,CCF大数据专家委员会承办,中科院计算所与CSDN共同协办,以推进大数据科研.应用与产业发展为主旨的2014中国大数据技术大会(Big Data Technology Conference 2014,BDTC 2014)暨第二届CCF大数据学术会议在北京新云南皇冠假日酒店盛大开幕. 中国移动苏州研发中心大数据产品部总经理钱岭带来的演讲是"电信运营商大数据商务模式研究",通信管道是大数据的一个重要来源,钱岭

浅谈电信运营商的大数据应用探索

如<大数据时代>作者迈尔-舍恩伯格所说,"大数据开启了一次重大的时代转型.--大数据正在改变我们的生活以及理解世界的方式,成为新发明和新服务的源泉,而更多的改变正在蓄势待发."随着互联网时代的到来,以及数据存储能力的提升和分布式计算技术的发展,人们发现了海量数据的潜在价值,不断在大数据领域做出探索,试图从中挖掘金矿.而在媒体与投资的热烈追逐下,挖掘大数据价值的浪潮也不可避免的泥沙俱下,"炒概念"的现象成为常态,以至于人们现在谈到"大数据&quo

电信运营商如何玩转大数据?

作为一种革命性的信息技术,大数据技术正在赋予数据生命和更多的商业价值.借助大数据进行舆情分析,将大数据应用到交通系统建设,用大数据预测赛事结果,以大数据辅助医疗--可以说,大数据正在我们的生活中发挥大用途.对于个人而言,大数据带来了便利;对于企业而言,如何应用好大数据更是关系到未来的竞争甚至存亡. 大数据时代到来,企业面临的竞争环境发生了巨大变化.企业拥有的知识.情报和其他数据资产的数量及其应用效率已成为企业能否取得市场竞争优势的重要因素之一.为此,国内电信运营商的集团公司和很多省分公司将大数据

运营商发展大数据的四大误区

在大数据概念迅速普及.产业快速发展的今天,运营商仍以传统的通信思维看待大数据业务的发展,导致其在发展中陷入了某些误区. 误区1:大数据项目应当"做成产品" 最容易形成这种误区的就是运营商的政企服务机构.在他们的工作中,有一大部分的时间是用来联合设备厂商或服务支撑方满足客户各种需求,尤其是在一些ICT项目中,"运营商+服务方"联合投标的模式屡见不鲜. 在这种背景下,运营商习惯于打包提供"整体解决方案"的模式.这里面一个非常核心的点是:运营商要在摸清

大数据驱动电信运营商转型

伴随着云计算和大数据的发展热潮,数据作为一种无形资产的价值正在日益得到认可.在大数据时代,电信运营商需要重视并建立大数据体系,掌握大数据技能,发掘大数据价值,从而为自身的转型发展提供强劲动力. 要建立大数据管理体系 电信运营商有着大量的用户数据.业务数据.服务数据和网络数据,经过长期运营,这些数据逐渐积累起来.但是,没有管理的数据就像埋藏在地下的矿产,价值无法体现.运营商当前由于没有全局性大数据管理体系,现存数据信息呈现出碎片.割裂和孤岛状的特点,难以深入应用. 对于大数据的应用已经成为一种必然

运营商大数据:行走在机遇与危险边缘

  棱镜门"监听事件曝光.该法案2年前就正式提交给巴西国会,但由于多方利益博弈一直搁浅.直到不久前,斯诺登公布的文件指称,NSA曾监听巴西多家通讯公司以及巴西女总统迪尔玛·罗塞夫,<网络民法>才突破阻碍得以通过,如果巴西国会参院表决通过后,就有望由巴西总统的批准实施. <网络民法>曾希望强制要求,国际互联网巨头在巴西设立本土数据中心,由于争议较大,此次的法案中已将其删去.但<网络民法>规定,跨国互联网公司需要承诺,在国外存储巴西公民信息时,应遵守巴西法律防止信

电信运营商该如何利用大数据?

大数据市场前景广阔.市场研究公司MarketsandMarkets最新发布的一份报告预计,从2013年到2018年,全球大数据市场将会出现年均26%的增长率,即从今年的148.7亿美元增长到2018年的463.4亿美元. 从网络数据到云计算,再到大数据,互联网时代真的变了.如今全球范围内的许多企业都在进军大数据应用市场,同时,大数据也为电信运营商带来了新的盈利空间以及新的挑战. 大数据"美好时代"来临 互联网产生大数据,随着互联网技术的不断发展,数据也将像能源.材料一样,成为战略性资源