商业智能和数据仓库推动大数据变革

大数据的定义是高科技领域内非常精细的事件驱动数据的采集和分析。这涉及到互联网的派生数据,这些派生数据的规模远远超出了网站的分析能力。它还与
传感器数据相关,而对于大部分传感器数据我们直到最近才丢弃。现在,那些有很大价值的数据,将更有利于我们
深入了解业务运转和与客户的互动。这才是能否被称为大数据的标准。

  大数据不仅是一种">数据仓库技术或BI(商业智能)的升级版,同时也是一场革命。大数据的宣言:无需恐惧毋庸置疑,大数据是一场大变革。

  第一次世界技术革命时,我们正在考虑的不是如何减少数据数量和如何把它归档,而是如何收集更多的数据并对其进行分析。那时,我们并不怕受到受到数据量的威胁,而是在寻找额外的数据,以帮助我们发展业务,进一步了解我们的政府和社会。

  后来,磁盘和存储的低成本与价格下降推动了商品服务器集群的分散式处理趋势。虽然我们收集、处理和分析大数据已经有相当长的一段时间了,但直到如今,我们所使用的方法依然是低效率,并缺乏经济性的。但这场大变革中有着我们一直想知道但以前又不曾涉及的数据,所以,现在的我们无需恐惧。

  2012年:大数据年代?

  大数据正在成为主流,它从科学和高科技公司的专用技术转变为企业IT应用程序的专用技术。大数据作为IT工具的主流,对IT领域有重大的影响,其可用性和易安装标准是高于科学与高科技公司界对大数据的要求的。这就是为什么我们会看到像微软这样的公司,可以通过Web浏览器来实现利用云基础大数据技术,从而进军游戏行业。

  为了更好的使大数据与企业相融合,我们应该实现技术的细化和降低经营成本。眼下,很多大数据工具都是粗糙的或昂贵的,或者是需要能够实施操作的高度专业化的技术人员的辅助。不过,这种情况正在逐渐改变,而且,它从侧面也证明了大数据革命的光明前景。

  Spreadmarts不是大数据,但他们也有自己的作用大数据和我们习惯使用的电子表格模型和数量运算有什么不同吗?电子表格技术员们一直在做分析,但肯定不是大数据,因为Excel不符合前面对大数据集的定义。直到2007年,Excel才可以处理超过有16,384行的电子表格。但是,它还是不能处理较大的业务数据量,这方面它比大数据逊色许多。

  当然,大数据分析的结果可以利用Excel来进一步计算和探讨。事实上,微软已经开发了一个与Excel连接的附件,与Hadoop连接的数据仓库接口,还有象征性的大数据技术。大数据工作就像经过以Excel为基础的分析和粗糙的编辑之后的后期制作。

  从另一方面上看,BI(商务智能)和DW(数据仓库)是相辅相成的,这对大数据而言是一件好事。大数据让落后的、传统的技术,为涵盖比以前更广的操作和交互范围的数据集提供见解。我们可以在全新的环境下继续使用熟悉的工具,从而实现对看似不可能或随意的事情的访问。

  自然语言处理和大数据关于用Hadoop开展自然语言处理(NLP)的解决方案已经产生了。该解决方案涉及到了Python编程语言和一套称为NTLK(自然语言工具包)。另一个例子是苹果的SIRI技术在iPhone上的应用。用户只需与SIRI进行对话,就能从一个庞大的领域专家团队那里得到答案。有趣的是,大数据技术将有助于改善自然语言技术,例如,对更大数量的书面作品进行处理和对算法的理解。因此,大数据将变得更容易使用。

(责任编辑:蒙遗善)

时间: 2024-10-27 07:33:55

商业智能和数据仓库推动大数据变革的相关文章

大数据变革:挑战与机遇并存

如今在美国最有影响力的行业中,大数据分析的地位已然不可撼动.(图片来自"美国政治新闻网") 随着云时代的来临,大数据吸引了越来越多的视线.在华盛顿,大数据分析已经初步脱离了概念阶段,成功诞生出了很多商业机会,跻身为有影响力的行业中所最不可或缺的一环.但大数据带来机遇的同时,也带来了巨大的挑战,因此成为美国媒体争论的焦点. 美国<福布斯>杂志网站10日刊登题为<用大数据塑造未来:我们是在玩火吗?>一文,阐述了大数据带来的变化和人们对它的顾虑;<华盛顿邮报&g

哈尔滨市政协就推动大数据产业发展建言献策

大数据既是一种海量的数据状态及其相应的数据处理技术,也是一种新的思维方式,更是一系列新理念.新方法.新要素的集中体现.当前,信息技术发展突飞猛进,信息技术创新层出不穷,以大数据为主导的信息化浪潮正成为加速企业技术创新.推动政府职能转变.引领社会管理变革的利器.把握大数据发展方向,推动大数据开发应用,发展大数据服务产业,已成为世界打造经济社会升级版的重要抓手. 日前,哈尔滨市政协经济委员会深入开展调研.广泛征求意见,编写了<抢抓大数据战略发展的历史机遇加快我市经济社会转型升级>调研报告.报告指出

马凯:坚定不移推动大数据产业加快发展

贵州代表团举行全体会议,审议<政府工作报告>.中共中央政治局委员.国务院副总理马凯参加贵州代表团审议.中共中央政治局委员.中央书记处书记.中央办公厅主任栗战书继续参加代表团审议. 全国人大代表.省委书记.省人大常委会主任陈敏尔,全国人大代表.省委副书记.省长孙志刚,以及李岷.廖飞.吴晓灵.王伟.楚海涛.谢泉.何刚.谢强等代表先后作了发言,提出了建议. 在认真听取代表发言后,马凯说,<政府工作报告>实事求是地对过去一年以及"十二五"工作作了总结,对今年面临的形势作

政策研究:盘点政府推动大数据应用举措

文章讲的是政策研究:盘点政府推动大数据应用举措,一.政府:推动大数据应用的最关键力量 (一)政府掌握大量最具应用价值的核心数据,是推动大数据应用的最关键力量 根据麦肯锡大数据研究报告指出, 各个行业利用大数据价值的难易度以及发展潜力 对比下,政府利用大数据难度最低而潜力最大. 另一方面政府开放大数据运用已经是大势所趋: 1. 政府掌握了大量最具应用价值的核心数据.过去十多年来政府投资进行了大量电子政务或者称为政府信息化的工作,后台积累了大量的数据,而这些数据和公众的生产生活息息相关.有研究表明政

服装行业大数据变革 值得深思

大数据如今已经渗透到各行各业,服装零售行业也不例外,大数据的来临正在悄无声息的改变着我们对该行业的认识,无论从数据端的采集还是到海量数据的分析,都将打破传统,用一种前所未有的方式进行. 对一家店铺而言,经营者可以实时的看到终端店铺的客流情况,顾客在店内的消费动线,对试销产品的关注度,VIP的消费情况.零售分析不仅仅局限在,传统粗放的数据采集,而是采用更加主动的方式记录终端发生的每一个因素的变动. 我们不需要重新创造什么,只需要将每天发生的每一个事件记录下来,分析其中的相关性,得出最精准的判断.

大力推动大数据发展应用 促进我国数字经济加快发展

记者从国家发改委获悉,5月25日,由国家发改委.工业和信息化部.国家互联网信息办联合主办的国家大数据专家咨询委启动大会暨国家大数据创新联盟成立大会在贵州贵阳召开. 国家发改委副主任林念修在会上强调,当前和今后一个时期,国家发改委将围绕推进供给侧结构性改革要求,深入实施创新驱动发展战略,大力推动大数据发展应用,促进中国数字经济加快发展,并将重点在以下四个方面持续发力:一是着力完善基础设施,构筑数字经济新支撑;二是着力发掘数据资源,打造创新创业新引擎;三是着力推进产业发展,培育经济发展新动能;四是着

印江推动大数据应用工作取得率先突破

2016年,印江土家族苗族自治县围绕应用抓创新,大力推进信息基础设施建设,强化电子商务市场主体培训,有效推进农特产品市场开发,近日,又召开推进会,推动大数据应用工作取得率先突破. 印江县及时成立工作领导小组,围绕数据从哪里来.数据存哪里.数据怎么用,制定出台实施意见,重点以提升产业发展.社会管理和公共服务能力为着力点,大力实施建设一个大数据管理中心,大力推进社会管理大数据应用.公共服务大数据应用.产业发展大数据应用三大行动计划,重点实施智慧政务.智慧城市.智慧交通.智慧医疗.智慧旅游.智慧农业.

实施十大工程 推动大数据应用

来自贵阳综合保税区的最新消息,该区将实施智慧城市设计工程等十大工程,推动大数据政用.民用.商用创新应用,力争到2020年,全区大数据核心产业规模超100亿元. 根据<贵阳综合保税区大数据十大工程推介方案>,该区将实施智慧城市设计.高速WiFi覆盖.智能交通与公共安全.智能生态管理.云上方舟智慧小镇.大数据人工智能应用."贵阳综合保税区大数据精准政务服务综合平台".政务工作调度平台.贵阳综保区"数据铁笼".跨境电子商务平台建设等十大工程.记者 肖达钰莎 来

政策推动大数据产业高速发展 2018年市场规模将达180亿

近年来,全球大数据产业不断成熟,各领域大数据应用全面展开,为大数据发展带来强劲动力.数据显示,2016年全球大数据市场规模达到453亿美元,同比增长25.8%.大数据逐渐成为全球IT支出新的增长点. 相对于发达国家而言,我国大数据产业仍处于起步发展阶段,各地发展大数据积极性较高,2017年1月,工信部发布了<大数据产业发展规划2016-2020年>,进一步明确了促进我国大数据产业发展的主要任务.重大工程和保障措施.国家政策的接连出台为推动大数据产业高速发展提供了良好的发展环境. 据前瞻产业研究