困惑的浪漫:并不存在全新的大数据市场

最近,我们已经听到了太多关于“大数据”的东西,有很多
新的应用程序,关于Hadoop、NoSQL和各种新的分析软件。我最近花了很
多时间与人交谈和思考这些趋势,最终确信我们看到的巨大的变化,包括我们已经收集的数据,以及为个人、公司和社会,我们要如何处理这些数据。

  组织应当如何处理数据,如何将原始数据转化成用于作出决定的信息,我们只是处在完整反思的早期阶段。不过,我也相信,“大数据”这个术语可能是混乱大于实用。数据分析的供应商MicroStrategy的首席技术官杰夫·比德尔(Jeff Bedell),告诉我,“大数据”只是一个时髦词语,“整个游戏是引入使人困惑的术语。”

  例如,Gartner对大数据的描述不仅在于数据量,还包括其类型,速度和复杂性。分析师马克·拜尔(Mark Beyer)在去年秋天的有关极端信息管理研讨会发言,表示公司需要建立现代化的信息管理系统,该系统要包含合乎逻辑的数据仓库。

  相比将“大数据”作为一个事物来谈论,考虑组织如何处理数据的各种变化可能更具现实意义。

  当然,某些情况下,也有真正的大量数据。大型强子对撞机每年产生15 PB的数据(15,000 TB级),而即将到来的球面射电望远镜项目预计每天将产生数EB(一百万TB)的数据。但是,这些项目是比较少见的,更多与高性能计算相关,而非典型的商业案例。

  相比之下,最典型的组织正在处理的数据库,规模显著较小,但仍然可以测量为TB和PB级。(这仍然是一个大量数据。)这些数据可以来自各种来源:跟踪人们在一个网站或多个网站上做什么,分析社会网络,或由传感器产生的数据处理。

  在谈有关数据造成的结果在最近的改变之前,回顾一下到现在为止这个领域的一些大的趋势,可能会有所帮助。

  数据库——数据的集合的历史,几乎与数字式计算机一样长,特别地,像IBM的大型机系统上运行的IMS产品。早期的数据库是分层的系统,但模型改变并成为标准仍然是关系模型。这些可追溯至1970年埃德加·F.科德(Edgar F. Codd)一篇题为《大型共享数据银行数据的关系模型》的论文。

  今天,每一个大型组织仍在使用的一个或多个这些产品,来存储他们的交易数据,如Oracle数据库,IBM的DB2,微软SQL Server和开源的MySQL(现在仍然是Oracle拥有)。在关系数据库之上,已建成各种应用程序,包括库存,会计,企业资源计划(ERP),客户关系管理(CRM),人力资源应用,以及数以千计的大型组织定制应用程序。

  特别是,作为交易的数量已变得更为复杂,往往分布在多个机器,许多企业已经实施联机事务处理系统(OLTP,也称为面向交易的处理系统)。

  在过去几十年,一个大的变化,是商业智能平台和数据仓库的出现,通常但并不总是一起运行。

  数据仓库通常存储来自业务系统的数据副本,但这些系统本身并不使用于不间断的业务经营。相反,它们被用于保持数据的历史,整合多个系统,往往作为分析应用的一个起点。Teradata公司的数据仓库产品可能是最有名的,但近年来,甲骨文的Exadata产品线(并购SUN所得),和IBM公司(包括其收购Netezza公司的资产)已经获得更多的重视,以及纯软件厂商,如Greenplum(现在是EMC的一部分)。

(责任编辑:蒙遗善)

时间: 2024-10-23 18:44:56

困惑的浪漫:并不存在全新的大数据市场的相关文章

CRM带动大数据市场快速成长

据调查显示,2013年全球企业软件费用预计为2960亿美元,较2012年成长6.4%,主要的推动力量正是来自于安全.存储管理和客户关系管理软件,换言之,与客户关系管理等大数据有关的应用市场,如企业内容管理.数据整合工具和数据质量分析工具的投资量也会开始提升投资水平. 在IDC的观察中,移动应用和社交网站,也将会更深入融合到企业级解决方案之中,甚至可能成为企业级应用的新入口.以中国大陆市场为例,IDC预估中国因特网用户数在2013年将会达到6.11亿,移动上网用户数也将会达4.61亿,意味着移动用

全球各国大数据市场的发展现状

1 大数据发展概述 当今是一个数据爆发增长的时代.移动互联网.移动终端和数据传感器的出现,使数据以超出人们想象的速度快速增长.据调查机构估测,数据数量一直在快速增加,这个速度不仅是指数据流的增长,而且还包括全新的数据种类的增多.目前数据容量增长的速度,已经大大超过了硬件技术的发展速度,并正在引发数据存储和处理的危机.据统计,2013年全球产生的数据达到3.5泽字节,到2020年产生的数量将增至44泽字节. "大数据"一词来自于未来学家托夫勒于1980年所著的<第三次浪潮>.

中国大数据市场规模及应用前景研究报告

一.全球大数据产业发展分析 1.全球数据量产生规模分析 随着移动互联网.移动终端和数据传感器的出现,数据正以超出想象的速度快速增长.近几年,数据量已经从TB级别跃升到PB乃至ZB级别.2014年全球数据总量为6.2ZB,2015年全球数据总量达8.6ZB.目前全球数据的增长速度在每年40%左右,以此推算,到2020年,全球的数据总量将达到40ZB. 2011-2015年全球数据量增长趋势图 数据来源:IDC.中商产业研究院 2.全球大数据市场规模分析 目前,大数据以爆炸式的发展速度蔓延至各行各业

盘点数据库2012:大数据市场争夺白热化

大数据的价值已经逐渐被用户认可.作为新概念,大数据在给一些初创公司带来机遇的同时,也为大型的传统IT厂商提出了新课题,在远未饱和的市场中如何将自身的利益最大化?因此我们看到包括甲骨文.IBM以及微软在内的主流数据库厂商都纷纷发布了明确的大数据战略,甚至连英特尔这样和数据不太沾边的公司也都参与进来.大数据中蕴含的大商机是每个厂商都要抓住的机遇. 在这里我们就来回顾一下过去一年中,几大重点厂商所发布的大数据战略,看看他们之间到底有何区别,谁又能引领新的大数据时代? 甲骨文大数据平台浮出水面 甲骨文在

大数据市场未来将呈现三大发展趋势

随着移动互联网.物联网等的迅速发展,新数据源不断出现,而中国数据总量的不断增长,使大数据成为一种重要资源,有利于推动零售.旅游.医疗.金融.电信.政府公共服务各个领域的业务创新. 大数据转变企业商业模式 来自于线下大数据市场(IT企业的大数据应用及大数据平台业务市场)中IT巨头和单一大数据业务的厂商开始行动,优化产品和服务路线图;线上大数据 市场(互联网用户数据市场,以及以互联网金融为主的线上金融市场)的成熟度逐渐提高,以金融和零售为核心的线上大数据应用走向成熟,市场体量进一步扩大. 企业着力培

大数据市场迎来扩容期 本土内存数据库抢位崛起

日前,中国人民大学大数据统计实验室最新发布的研究认为,2016年国内大数据预计将突破1000亿元市场规模,未来四年将呈爆发性增长,2020大数据市场规模有望突破8000亿元,本土内存数据库将进入新蓝海时代. 国际标准组织大数据专家.柏睿数据科技公司董事长兼CTO刘睿民认为,中国的数据库行业将迎来颠覆性变革,由中国自主研发的核心技术软件也将迎来更多的话语权.2016年我国的内存数据库有望改写由甲骨文雄霸数据库市场的历史,中国的内存数据库市场正迎来新的拐点. 内存数据新蓝海扑面而来 "作为国内内存数

2017年大数据市场总额将超470亿美元

尽管对于许多人来说,大数据相关技术,如Hadoop.NoSQL数据库以及内存分析等都还是新鲜事物,但不得不承认在过去的一两年中,这些技术都得到了更广泛地运用和发展.大数据究竟有多大?市场调研机构Wikibon的分析师Jeff Kelly指出,2012年大数据市场总额为114亿美元,预计到2017年将增长到470亿美元. Jeff Kelly曾就职于TechTarget,并担任多年新闻编辑工作.近期,他接受了记者的采访,针对Wikibon对大数据的预测进行了深入交流.本文为采访实录,主要论及了大数

日本大数据市场规模及其发展趋势

如今,日本由于长期的经济低迷,导致直接面临着国际地位下降.少子高龄化.日益增加的社会保险费用以及社会基础设施老化等许许多多的问题.日本政府为了改变这一现状,保持经济持续增长,决定通过大力发展IT产业,特别是大数据及开发数据和云计算,促进经济发展.而对此日本各大IT企业充满期待,因为大数据和云计算已成为IT企业战略核心.此外,无论大数据技术还是企业实际应用方面,日本都在亚洲占据明显优势.下面,将围绕日本政府新IT战略. 日本大数据产业发展状况以及未来发展趋势等进行扼要阐述. 一.大数据已成为安倍政

Wikibon:公有云大数据收入至2026年将占大数据市场的24%

根据最新的Wikibon分析资料,2015年公有云里的大数据市场为11亿美元(占大数据收入的5%),至2026年该市场将增至218亿美元(占整个大数据收入的24%).2015年里大数据对公有云总收入的贡献为1.4%,而在2016年里大数据对公有云总收入的贡献为4.4%.   云里大数据分析的运行相对简单,而且颇为灵活,这些将吸引企业用户, Wikibon分析师Ralph Finos博士建议他们多考虑各种选择.Finos最近在他的一篇名为" Wikibon对2016年大数据的预测"的分析