为什么是大数据?云计算后时代催生最新的技术热点

你是不是可能和我一样觉得有点奇怪,为什么大数据突然冒出来成为最新的技术热点,就像前几年的云计算一样?">大数据技术似乎几年前就存在,历史上数据库、数据仓库、数据集市等信息管理领域的技术,很大程度上也是为了解决大规模数据的问题,为什么他们无法满足要求了而使以hadoop为核心的大数据技术脱颖而出成为热点呢?和几个朋友闲聊了一下,列出了3个主要观点,供大家指正。

1. 非结构化的数据增长过快,急需相应的技术来处理和发现价值。

13年前也就是1999年,我在微软做SQL Server的技术支持的时候,有个客户把他单位的被置疑的数据库寄过来给我修复,然后给我打电话说:我们的数据库挺大的,有50MB呢!50MB啊,看看现在,全世界的信息量每两年以超过翻番的速度增长,2011年就产生和复制1.8ZB的海量数据,其增长速度甚至超过摩尔定律。1.8ZB是什么概念呢,需要中国每个人每分钟发送3条微博且连续6217年不间断。无所不在的移动设备、RFID、无线传感器每分每秒都在产生数据,数以亿计用户的互联网服务时时刻刻在产生巨量的交互……要处理的数据量实在是太大、增长太快了。更糟的是,企业里85%的数据都是非结构化的数据(电子邮件,文档,图片…),这让我们的关系型数据库情何以堪!我们都知道这些数据里极有可能含有金矿,但是如何处理这些数据,如何从这些大数据中发现价值,这些都在召唤大数据技术。

2. 我们怎么处理过时的数据,删除么?过去我们处理过时的数据库数据,第一就是备份,然后从当前系统中移除。第二就是建表分区,然后把老数据分区移到速度慢的硬盘上。但是这些举措在处理结构化数据的时候已经力不从心,更不用说数据量更大的非结构话数据。当你需要的一些数据位于已经备份掉的磁盘中,如果是我,我都恨不得直接吃掉它们。理想的状况是,无论过时的数据还是新数据都能在需要的时候随时查询到,而且性能还不受影响。你不用纠结于怎么处理日益增长的数据和逐步下降的系统性能,这些就需要大数据技术了。

3. 硬件成本的快速下降,特别是存储设备的进步,使大数据技术走向商业完全成为可能。企业可以用便宜的PC服务器搭建大数据平台,并且可以随时扩展。应用微软的windows平台就可以简单地做到这一点。而且Widnows Azure提供了无限扩展的存储和计算能力,企业可以利用混合云技术,随心所欲地应用大数据技术为企业的发展提供更大的助力。

应该还有其他的因素在推动大数据的成为热点,希望能听到大家更好的见解

时间: 2024-07-30 05:30:40

为什么是大数据?云计算后时代催生最新的技术热点的相关文章

大数据人才之困 催生企业定制班模式

文章讲的是大数据人才之困 催生企业定制班模式,10年前,如果说大数据分析你会想到什么?银河超级计算机?基因组网格计算?那时候大数据离我们似乎还很远.而如今,从央视的春运迁徙图到美国奥巴马政府宣布投资2亿美元启动"大数据研究与开发计划;从两会期间的两会大数据到预报旅游热点,大数据正在对每个领域都造成影响,大数据就在我们身边. 众所周知,数据中的价值是存在的,而且还远远未被挖掘出来.随着CPU处理速度提升,分布式处理架构日渐成熟,互联网催生数据量以指数速度增长,各大公司纷纷上马大数据业务,伴随而来的

“造价通”服务建设行业转型 迈进大数据应用新时代

中国是一个"大步前进"的国家,在城市内的每个角落,无论楼宇的建筑工还是室内装潢的泥瓦工,你都能找到建设人的身影.作为我国国民经济的支柱产业,建筑行业的转型升级已经是不容回避的问题,信息化是企业提升竞争力.增进效益的助推器,是实现建筑业工业化和现代化的必由之路. 但建筑行业并非像互联网行业那样有着转型的"先天条件",由于几百年沿袭下来的历史习惯,信息化建设意味着重构产业链条,再加上劳动密集型的特征,建筑行业的转型之路似乎从一开始就预示着蜿蜒曲折,不太好走.中建普联造价

彭怀湘:金融与大数据相约互联网+时代

本文讲的是彭怀湘:金融与大数据相约互联网+时代,作为一名IT业的"老兵",亚信数据公司银行行业线总经理彭怀湘在多年的IT从业中生涯明显得感觉到数据驱动商业的魔力,特别是在互联网+时代下,彭怀湘认为,如今的金融行业与大数据技术已经"相约",正在实现金融业务的创新. 互联网+加速金融普惠 众所周知,2015年最火的莫过于互联网+无论是传统的行业企业还是先进的互联网企业.政府等都在关注互联网+的发展."实际上,互联网+的提出是对于实体经济的诉求." 彭

大数据云计算学习路线图(纯属个人看法和观点)

[ps:以下纯属个人观点和看法,有什么不对的,还请多多指教.] 1:之前发过一个Java攻城狮的学习路线图[ps:挺详细的~~~]:http://www.cnblogs.com/biehongli/p/5754555.html 恰恰是这个Java攻城狮学习路线图使我在学习编程的路上看到了希望,使迷茫的我找到了方向.现在还为此在努力...... 2:而今天呢,结合一些培训机构的学习路线图,今天发一个大数据云计算的学习路线图,也许有的人心中会有些疑问说这货是骗浏览量,点击量的吧,可是原因不是这样的哦

【干货】史蕾:大数据征信时代的个人信息保护

嘉宾介绍: 史蕾:1998年毕业于复旦大学国际经济法专业,现柏杨云天(北京)企业咨询有限公司,合伙人.曾就职于纳斯达克B2B上市公司环球资源(NDSDAQ:GSOL)和奇虎360法务部. 密切关注大数据企业和大数据产品的创新性业务实践,为多家大数据公司产品合规分析.用户协议拟定.个人数据保护和隐私政策的制定.股权激励项目提供专项咨询意见. 讲座全文: 各位嘉宾下午好,首先感谢韩院长和清华大数据研究中心给我提供这次机会,也感谢微路演梁总的推荐.今天下午我带来的题目是<大数据征信时代的个人信息保护>

马云:大数据云计算是阿里未来核心战略

本文讲的是马云:大数据云计算是阿里未来核心战略[IT168 云计算]北京时间10月8日晚间,阿里巴巴集团董事局主席马云和CEO张勇在年报致投资者的公开信中表示,全球化.农村经济和大数据云计算将成为阿里未来十年的发展大方向,并表示将不惜一切投入发展数据技术,让数据和计算能力成为普惠经济的基础. "狭义的电子商务仅仅是今天阿里巴巴集团战略的一部分."马云在公开信中表示,阿里巴巴的战略是打造未来商业社会的基础设施,电子商务只是整体战略的第一步,"我们非常明白只有依靠互联网技术和大数

专家学者热议智慧交通:大数据云计算,出行有“千里眼”

国内外"买家"会聚南京切磋智慧交通 大数据云计算,出行有"千里眼" 节假日猛增的车流量如何疏导?如何引导遍布大街小巷的共享单车有序停放?--10日,在南京举行的2017年中国智慧交通博览会上,国内外万余名专家学者.专业买家,热议"互联网+".交通大数据.智能公交.智慧停车.车联网等交通领域的前沿科技和最新产品. "交通一向被称为城市的'血脉',但仅靠多建道路.增添'血管'已不能解决城市拥堵的痼疾,要增加'血流'速度,提高交通效率,这就需

IBM PureData“大数据专家”添时代价值

本文讲的是IBM PureData"大数据专家"添时代价值,2012年12月4日消息,IBM今日在京召开主题为"凝聚专家力,智赢大数据"的2012 IBM PureData发布盛典,正式在中国市场发布针对大数据处理的专家集成系统--PureData.作为IBM PureSystems家族最新成员,PureData继承并发扬了IBM 在业界领先的专家优势和全面大数据能力,旨在利用全新的专家集成技术帮助各行业企业高效应对和驾驭激增的海量数据,获取关键洞察,从而实现企业市

.net程序员想转大数据云计算方面的可行性,或者有什么好的学习路线!

问题描述 .net程序员想转大数据云计算方面的可行性,或者有什么好的学习路线! .net程序员想转大数据云计算方面的可行性,或者有什么好的学习路线!正如我所说的,我是学习.net出身,自认为基础还可以,对大数据和云计算方面充满了好奇和向往,就想找个这方面的工作,并且想学习学习这方面的知识,不知道各位有没有好的意见,或者说这样可行吗? 解决方案 补充一下,我是本科生,所以基础知识方面应该还可以! 解决方案二: 云计算本身没有什么好学的,除非你是做基础架构的运维.云计算是商业模式而不是技术,这种模式