大数据和传统BI

对于传统企业内部,更多的应该是使用了大数据技术的传统BI平台,或者是融合了传统BI+大数据的混合平台,而不能单纯说是大数据平台。在谈大数据平台的时候,一味去否定传统BI是不合适的。

在没有和互联网打通的传统企业内部,更多接触的仍然是结构化数据,优先要解决的是围绕企业核心价值链的数据建模和企业战略,各业务域KPI体系的建立,决策支持和分析这些内容。在整个数据建模和分析过程中,还要考虑去解决数据不一致性,重复等问题,建立数据管控和治理体系。36大数据(http://www.36dsj.com/)

传统BI平台在发展过程中会遇到问题和瓶颈,使用传统的技术架构无法解决,需要我们在传统BI技术架构的构建中引入大数据相关技术和工具,从这意义上更多应该叫使用了大数据技术的传统BI平台。36大数据(http://www.36dsj.com/)

使用了大数据技术的传统BI平台

在数据存储和查询效率层面,传统BI遇到瓶颈,可以看到在大量的上千万即上亿数据量的结构化数据表中,要进行查询统计分析输出KPI指标性能下降非常明显。为了解决查询效率问题,有两个思路,一个是引入了MPP数据库来解决,一个则是引入Hadoop平台进行存储,虽然是结构化数据但是仍然引入Hadoop平台,重点是解决分布式存储和查询性能问题。36大数据(http://www.36dsj.com/)

其次,虽然传统企业以结构化数据为主,但是仍然出现对大数据量的非结构化数据的采集和处理,这个时候我们可能引入了Hadoop平台,将数据采集,清理存储后最终还是再导入我们的结构化数据仓库。可以看到在这个过程中大数据技术解决了对非结构化数据的处理和整合问题。36大数据(http://www.36dsj.com/)

融合传统BI能力的大数据平台

对于原来没有规划建设BI系统的企业,在构建BI系统的时候更多考虑的就是直接构建大数据平台同时完全融合传统BI应该具备的能力。即既保留了传统BI,又实现了远期对大数据平台和应用的扩展能力。

数据采集层-》数据存储层-》数据处理层-》数据整合层-》数据分析层-》数据展现层

数据采集:大数据在传统ETL基础上增加了对HDFS,非结构化数据,流数据,互联网数据的支持能力

数据存储:增加了HDFS,HBASE等数据存储方式

数据处理:传统BI在ETL过程中可以完成清洗,大数据平台是存采集不处理,处理用单独定制脚本。

数据整合:整合了结构化+非结构化数据,提供统一数据开放接口

数据分析:HIVE+Impala+Spark,大批量和即席交互查询能力并存

数据展现:传统的BI报表功能仍然适用,也可以引入大数据可视化技术

可以看到要融合传统BI能力,则数据整合层需要能够整合结构化数据和非结构化数据,同时提供统一的大数据开放能力服务接口。尽量让前端报表通过大数据服务接口获取数据以隔离底层大数据平台的数据源。即数据展现层和数据整合层通过服务层进行解耦和隔离。

如果企业已有传统BI平台,那么底层的BI平台可以共存,即可以将底层BI平台的ODS库或EDW数据导入到大数据平台进行存储和整合。大数据平台存储一定是混合存储模式,即有些通过Hadoop平台处理后的中间结果数据我们仍然导入到结构化数据库进行存储,遵从传统BI数据建模技术构建星型模型,方便后续对数据进行维度分析和上钻下钻。对于self service BI,我们仍然开放Hadoop平台原始数据接口能力。

一开始就构建大数据目标平台

如果企业在构建平台的时候,一开始目标就很明确是大数据类分析和应用,如采集海量的互联网数据进行某行业的客户行为分析,用户画像,同时结合企业内部经营数据进行针对性营销的辅助决策。那么一开始构建就会以Hadoop平台为主,同时兼容能够采集企业已有的结构化数据。

这类平台在构建过程中可以看到不会是传统BI数据建模和分析那套方法,而更多是新的大数据分析和挖掘技术,则完全可能是以Impala+Hive+Hdfs为主线,以Tableau,Qlic View为前段展现,通过R语言或KNIME进行数据挖掘和分析等。即脱离传统BI,大数据整套框架仍然是完整的。但是弱化了传统BI中的数据建模,数据质量管理,数据治理等方面的能力。

本文作者:人月神话

来源:51CTO

时间: 2024-09-15 03:36:46

大数据和传统BI的相关文章

DBA观点分享:大数据对传统数据库的影响

文章讲的是DBA观点分享:大数据对传统数据库的影响,大数据趋势在2012年开始变得明显,Hadoop.NoSQL等技术的兴起,令传统数据库稳固的江山开始动摇."以不变应万变"不再是大数据时代应有的策略,老牌数据库厂商在保持传统市场领先的基础上,不断拓展新市场. 近日,ITPUB论坛以<大数据时代下传统数据库的改变有哪些?http://www.itpub.net/thread-1791263-1-1.html>为题发起讨论,话题围绕传统数据库为了应对大数据时代做出何种改变.传

大数据与传统数据

大数据与传统数据相比的主要特点可以概括为:数据量"大".数据类型"复杂".数据价值"无限". 数据量大十分好理解,以前我们存储数据使用的单位是 KB,一个Excel表格也就几十到几百KB,现在我们经常说到GB甚至是TB乃至PB的数据量级,它们的数量关系如下所示. 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 更直观一点,1KB相当于512个汉字,1MB就相当于六本红楼梦的字数--而淘宝网在2015年3月每

大数据来袭 传统IT厂商紧握Hadoop机遇

本文讲的是大数据来袭 传统IT厂商紧握Hadoop机遇,大数据时代已经来临,并悄悄的影响着我们的生活.根据IDC最近一项研究显示,在Facebook上每20分钟就有100万个新链接被分享,1000万条用户评论被发布.Facebook和其他所有互联网网站.互联网应用,已经逐渐变成了整个数据采集.分析.处理.增值的数据架构. 在中国,社交网络同样如火如荼.新浪副总裁王高飞就曾表示,新浪微博的注册用户已超过3亿,用户平均每天发布超过1亿条微博内容,相当于每10个中国人里面,就会有一人每天发布一条微博.

大数据or传统数据,只需找到合适工具

在近期 举行的Enterprise Data World大会上,参会者 纷纷对"大数据"这一话题发表了自己的看法.来自InfoAdvisors的首席咨询师Karen Lopez作为其中一员, 认为大数据并不像看上去 那么靠谱. Lopez说:"从最基本的问题来说,到底什么是大数据?我相信根本就没有人能真正讲清楚."Lopez拿维基百科上的解释举例,上面说大数据是指那些数据量增长到很大以至于难以处理的数据集.Lopez说:"这到底算是哪门子定义?"

大数据与传统数据库是互补关系

文章讲的是大数据与传统数据库是互补关系,在全球大数据生态圈中,Hadoop堪称其中最为核心的技术.     由非营利组织管理的Hadoop平台,尽管推行开源模式,但企业并不是拿来就可以用,它需要经过进一步的加工和修缮,由此孕育了多家大数据商业开发公司,如Cloudera.MapR.Hortonworks等.这些公司的商业模式就是开发商业化的Hadoop分发版,并对外销售.     在这些Hadoop分发版开发公司中,Hortonworks刚刚完成IPO,算是最早的一家,目前市值约10亿美元.而要

王叁寿:大数据是传统信息化厂商的掘墓人

无论是竞选团队安排策略,金融行业鉴别风险,还是医疗机构推行新药,在大数据变现为21世纪货币的过程中,都对信息化的深度与广度提出了更高的要求.对此,九次方大数据创始人王叁寿表示,大数据是突破瓶颈的关键钥匙,是传统信息化厂商的掘墓人. 传统信息化,在一定程度上打破了地域.组织.技术的界限,强化了资源协作与共享,构建出了更具灵活性的新体系.对于亟待转型升级的各个行业而言,如何能将信息化与传统业务进行深度融合,以技术创新带动行业新发展,成为DT时代的制胜关键. 然而,技术的加速度使得产业出现代际革命的现

最具前景的应用,医学大数据颠覆传统医疗

大数据及大数据技术的出现,使得各行各业面临着新的变革,这些变革或者大大推进了行业的发展,或者逐渐颠覆传统的运行和发展模式.例如,互联网和信息行业的快速发展使其具备了新的内涵:通过深度的数据管理.数据挖掘.数据分析等展现大数据,可以对行业发展起到预测.预警.指引等作用,大数据将其精准.客观.科学的价值转化为一种生产元素,渗透到传统行业的各个环节中去,从而带来某些.甚至是本质上的变革. 医学大数据颠覆传统医疗 传统的物质世界,因为时空限制,信息是严重不对称的.我们以往很多的商业模式都是基于信息不对称

大数据先行 传统金融转型需从体制上创新

经过几年发展,互联网金融成为金融行业一股鲜活的力量.同时,行业也意识到,这条鲶鱼不会在大众市场对银行构成威胁.日前,德勤的一份报告也指出,P2P的市场价值高达1800亿美元,但并没有在成本.风险和速度上对借贷进行革命.对于细分市场,P2P可能会由于一定的竞争优势获得利润,但是在大众市场,他们的命运并不掌握在自己的手中. 与互联网金融面临的是生存压力相比,传统的金融机构面临的是强大的转型压力.传统金融机构一方面会面临更加严苛的监管,需要为此承受更高的成本:另一方面,移动互联网下,客户对业务办理速度

清华讲坛:国双大数据助力传统媒体融合转型

本文讲的是 : 清华讲坛:国双大数据助力传统媒体融合转型   ,   新媒体时代来临,微信.微博等社交平台方兴未艾,人人都成为信息的主体和传播渠道,传统媒体的内容垄断地位及收费模式面临严峻挑战,纷纷寻求借助新技术,实现成功转型.在8月21日清华-青岛数据科学研究院&大数据产业联合会举办的"大数据驱动下的媒体业转型讲座上",国双科技新媒体事业部总经理陈杰从技术应用的角度出发对传统媒体如何实现转型.赢得更多用户进行了深度剖析,娓娓道来国双为央视网.芒果TV等电视台及网络电视台提供服