解析在大数据(BigData)新时代下的商业智能平台技术

Facebook宣布用户量目前超过了7.5亿,每天的分享的次数达到40亿。IDC预测从2009年到2020年,数据总量将增长44倍,达到35ZB(zettabyte),并且其中80%的数据都是非结构化数据。BigData又是一个没有规范定义的概念,不同的应用对大数据都有不同的理解。大数据是否开启了一个新时代,现在下结论或许为时过早,但它所带来的巨大影响,不容我们忽视。 Informatica企业数据集成产品管理总监郑玮时,她分享道:“大数据有两个明显的特征,第一,数据的属性是非结构化或者半结构化数据;第二,数据之间频繁产生交互,大规模进行数据分析,并实时与业务结合进行数据挖掘。”同时补充说明“仅仅是数量级上的不断刷新并不能代表就是Big Data大数据”

大数据的技术解构

从这两大特征可以看出,大数据是包括了交易和交互数据集在内的所有数据,无论从规模还是复杂程度上,远超出常用数据库或者商业智能技术的捕捉、管理和处理能力。一些企业已经感受到失控的数据增长对业务造成的影响,郑玮认为大数据是由三项主要技术趋势汇聚组成的:

1、大交易数据:在从 ERP 应用程序到数据仓库应用程序的在线交易处理(OLTP)与分析系统中,传统的关系数据以及非结构化和半结构化信息仍在继续增长。随着企业将更多的数据和业务流程移向公共和私有云,这一局面变得更加复杂。

2、大交互数据:这一新生力量由源于 Facebook、Twitter、LinkedIn 及其它来源的社交媒体数据构成。它包括了呼叫详细记录(CDR)、设备和传感器信息、GPS 和地理定位映射数据、通过管理文件传输(Manage File Transfer)协议传送的海量图像文件、Web 文本和点击流数据、科学信息、电子邮件等等。

3、大数据处理:大数据的涌现已经催生出了设计用于数据密集型处理的架构,例如具有开放源码、在商品硬件群中运行的 Apache Hadoop。对于企业来说,难题在于以具备成本效益的方式快速可靠地从 Hadoop 中存取数据。

不久前在美国举行的2011 Hadoop论坛,5500名参会者,入场券据说在开放后8小时全部售罄。Hadoop 分布式文件系统、MapReduce 算法、大规模并行处理(MPP)数据库技术最先是由Google、Facebook等互联网公司发展起来的。Hadoop作为开源技术,现在吸引了很多企业级用户开始尝试。相对于之前昂贵的大规模并行处理和海量数据分析技术,Hadoop确实能够用比较经济的、有更高性价比的方式进行大数据的部署应用。“将传统的交易数据与全新的交互数据组合起来,获得企业的洞察力和商业价值”,郑玮举例谈到:“企业可以通过社交媒体来了解客户的喜好,完善客户资料来提高目标营销的效率。”

大数据的应用平台

从业务角度来看,大数据环境中企业仍然需要数据集成、商业智能,只是它们的规模进入海量级别,同时对数据集成的基础架构要有更好的延展性。今年6月Informatica推出了Informatica9.1 for Big Data,郑玮认为这是全球第一个专门为大数据而构建的统一数据集成平台。“这个平台的开发目标非常明确,就是以Informatica的数据集成技术为基础,帮助企业用户充分发挥大数据的业务潜力”,郑玮说:“数据集成平台上在IT 部门保持操控权的基础上,通过自助服务增强所有用户获取相关信息的能力,并且能够自适应数据服务,提供按业务需求进行调整的相关数据和可信数据,获得业务洞察力和一致性。”

应对大数据的特征,Informatica 9.1在数据集成的三个方面分别提供了创新的解决方案。首先是全新的数据仓库设备包能够与大交易数据相互连接,并且通过OLTP在线分析处理存储数据,提供对高流量的交易数据的访问速度。其次,借助与新型社交媒体的连接器与大交互数据的连接。访问如 Facebook、Twitter、LinkedIn 和其它媒体的数据源。将数据收集的范围扩大到企业所在行业的新兴价值数据集,还包括了设备和传感器、CDR、海量图像文件。

第三,利用平台的连接功能支持对海量数据的处理。让 IT 部门将不同来源的数据输入Hadoop,并对Hadoop中的数据应用、数据质量进行探查和挖掘计算。更好的将Hadoop系统内外的交互数据进行统一的管理,提供企业的洞察力。

“我们的某个客户,是一家领先的专业时装零售商,通过当地的百货商店、网络及其邮购目录业务为客户提供服务”,郑玮向我们介绍了Informatica的一个成功案例:“公司希望向客户提供差异化服务,如何定位公司的差异化,他们通过从 Twitter 和 Facebook上收集社交信息,更深入的理解化妆品的营销模式,随后他们认识到必须保留两类有价值的客户:高消费者和高影响者。希望通过接受免费化妆服务,让用户进行口碑宣传,这是交易数据与交互数据的完美结合,为业务挑战提供了解决方案。”Informatica的技术帮助这家零售商用社交平台上的数据充实了客户主数据,使他的业务服务更具有目标性。

时间: 2024-08-04 04:59:16

解析在大数据(BigData)新时代下的商业智能平台技术的相关文章

“造价通”服务建设行业转型 迈进大数据应用新时代

中国是一个"大步前进"的国家,在城市内的每个角落,无论楼宇的建筑工还是室内装潢的泥瓦工,你都能找到建设人的身影.作为我国国民经济的支柱产业,建筑行业的转型升级已经是不容回避的问题,信息化是企业提升竞争力.增进效益的助推器,是实现建筑业工业化和现代化的必由之路. 但建筑行业并非像互联网行业那样有着转型的"先天条件",由于几百年沿袭下来的历史习惯,信息化建设意味着重构产业链条,再加上劳动密集型的特征,建筑行业的转型之路似乎从一开始就预示着蜿蜒曲折,不太好走.中建普联造价

孟建柱:主动拥抱大数据人工智能新时代

全国公安科技信息化工作会议20日在京召开.中共中央政治局委员.中央政法委书记孟建柱对公安科技信息化工作提出要求,国务委员.公安部部长郭声琨出席并讲话. 孟建柱充分肯定了近年来公安机关科技信息化建设成效.他指出,科技信息化在公安工作中具有战略性.基础性.全局性地位.全国公安机关要认真学习贯彻习近平总书记系列重要讲话精神,按照对党忠诚.服务人民.执法公正.纪律严明的总要求,践行开放.共享的发展理念,主动拥抱大数据.人工智能新时代,树立前瞻性的思维与眼光,紧跟公安工作业务发展需要和人民群众的新期待新要

分析:大数据时代下的存储平台选择

文章讲的是分析:大数据时代下的存储平台选择,大数据是时下最热门的企业IT话题,那么大数据对存储有什么要求呢? 为了解决这个问题,我们首先来分析一下大数据的特点. Gartner对大数据下了一个简洁的定义:"大数据是需要新处理模式才能具有更强的决策力.洞察力和流程优化能力的海量.高增长率和多样化的信息资产." 所以,大数据既包含结构化数据也包括非结构化数据,而且是以数量巨大.变化率高的形式存在. 大数据如此热门的主要原因是因为它能提供可行性的见解.企业通常使用分析应用来提取大数据里的本来

转型升级压力下的贵州之变:大数据带来新的动力

透视转型升级压力下的贵州之变 当前,中国经济来到了爬坡过坎儿的关键阶段.在经济增速放缓.企业盈利压力加大的背景下,贵州省及时转变思路,积极培育新产业,创新政策措施,经济发展呈现出新气象. 大数据带来新动力 2015年,中国经济持续下滑,前三季度工业增加值增速仅为6.2%.然而,位于中国西南的欠发达省份贵州,全年工业增加值增速却有望超过10%. 三年前,急于转型脱困的贵州省开始谋划大数据产业发展.冬无寒冬夏无酷暑的气候.远离地震带的地质条件.丰富的水电资源优势,可直接降低数据中心的用电成本,贵州非

[杭州线下活动]Techday44期--飞天技术汇-ECS实例解析与大数据投融资

ECS产品技术团队,针对弹性计算产品的深度解析~[杭州] [Techday44期]飞天技术汇-ECS实例解析与大数据投融资云栖TechDay查看详情活动介绍:时 间:12月14日 13:00-17:00地 点:杭州市良睦路1399号梦想小镇互联网村2号活动室13:00-13:30 签到13:30-14:30 议题:<ECS最有性价比实例解析> 讲师:胡晓博 (阿里云产品专家)14:30-15:30 议题:<云端高可靠.高性能企业级应用最佳实践>讲师:王志坤 (阿里云高级产品专家)1

[阿里研究院]“互联网+”的动力:云计算、大数据与新分工网络

"互联网+"的深刻内涵 普适计算之父马克·韦泽说:最高深的技术是那些令人无法察觉的技术,这些技术不停地把它们自己编织进日常生活,直到你无从发现为止.而互联网正是这样的技术,它正潜移默化地渗透到我们的生活中来.所谓"互联网+"就是指,以互联网为主的一整套信息技术(包括移动互联网.云计算.大数据技术等)在经济.社会生活各部门的扩散.应用过程.互联网作为一种通用目的技术(General Purpose Technology),和100年前的电力技术,200年前的蒸汽机技术

大数据、新媒体与商业的未来

由数据驱动管理的发展简史看,现在我们来到了大数据时代. 1970年代,赫伯特•西蒙提出,由于人们在决策过程中的理性是有限的,所以需要用计算机支持决策系统,帮助决策者扩大理性范围.此时出现了IBM研究员发明的关系型数据库--这种数据库结构化高.独立性强,之后出现了大型的信息管理系统.随着1980年代数据仓库的出现,数据挖掘开始兴盛,沃尔玛"啤酒+尿布"的故事是人们经常说到的案例.1990年代初,令人震惊的联机分析开始出现,这种分析方法可以从任何一个角度把数据切片化.然后就是商务智能.联机

大数据的小时代,没有“IOE”也能玩转智慧城市

如今一谈到大数据,人们就会联想到数百TB以上且规模不断增长的Hadoop集群系统,人们为过去两年我们制造了超过人类历史总和的数据量而感到颤抖,但实际上大数据可以很小,甚至在智能手机和笔记本上就能进行分析处理,而聪明的机器学习算法能将大型强子对撞机数据分析工作量减少上万倍:后大数据时代,人们将更加关心如何让大数据"大事化小". 但在粒度更小,数据规模却更大的智能传感器时代,在一场官方色彩越来越浓的"去IOE运动"中,如何利用本土低成本技术资源,在Hadoop之外寻找一

SAS:用数据寻找新常态下的新商机

数据正在成为商业的基础,以及一切管理和决策的先决条件. "随着大数据.云计算.物联网等新技术新应用向商业世界及公众生活的渗透,传统的产业模式被不断革新,原有的产业链被打破,以往的传统观念也被彻底颠覆,但是借助数据分析技术,各企业都可以积极应对,以创新驱动发展,掌握变革的机遇,走出一条崭新的成长道路."6月23日,SAS大中华区总裁吴辅世在第四届SAS Forum 2016大会上如是说. SAS大中华区总裁吴辅世 作为一家成立40年的数据分析公司,SAS从创立伊始就一直专注于数据分析的商