谈大数据:高效的数据存储、维护以及分析

“大数据”被认为是可以重塑现有数据中心的技术。诚然,数据中心听起来一点都不如iPad有趣,不过如果没有数据中心对云计算的支持,iPad至少不会像现在这么有趣。云计算不仅极大的延伸了移动互联网,同时正在成为一股冉冉升起的新时代的中坚力量,不断为商业终端注入活力。美国政府已经意识到了大数据的重要性,美国总统奥巴马甚至斥资2亿美元联邦财政预算用于大数据项目。无论是商务人士还是政府机构都在谈论大数据,仿佛这是一盏济世明灯,俨然在将经济发展的重任交付于大数据的肩上。

但且慢,这些对大数据如此推崇的人,商业人士也好、政府官员也好,真正了解大数据的本质吗?大数据真的是灵丹妙药,还是我们高估了它的价值和能力?事实上,这些人对大数据的理解,都是源于各自不同的渠道,受限于供应商对他们的影响。而直到现在,互联网上居然还没有对大数据“是什么,能做什么”有一个直观、易懂、确定的解释。因此,我们首先应该搞清楚:究竟什么是大数据,大数据的本质是什么?如果没有搞清楚就盲目的投入大笔资金,后果将非常严重。

随着互联网的发展,大量的企业面临着新的挑战,传统的数据库在很多情况下已经无法满足企业及用户的需求。Hadoop,一个从Yahoo出来的开源项目,已经变成它自己的商业行业。读写网的一项由154家美国中小企业主参与的调查显示,对于大数据的定义,绝大部分企业主都是基于自身经验和战略来诠释这个词。其中28%的调查者表示认可“大量的急速增长的数据传输”,24%的调可以看出,查者则认为大数据“是一种新技术,旨在解决数据在体积、种类以及速度不断增加的挑战“,19%认为大数据是为了满足”管理并遵循存储和存档数据的需求“,18%调查者则认为大数据是“新的数据大爆炸”。

以上多种答案,那么究竟正确答案是什么呢?Scott M. Fulton,多部教学书籍及资源的作者。大量的再生产品,从包装箱到公园的长椅,都是根据他的教学书籍制造出来的。他给“大数据”下了一个普适的定义:

虽然数据库技术在业务逻辑层面已经触碰到了天花板(此逻辑依然在使用低效耗能的方式来访问和维护数据),但是因为一直以来,硬件速度和能力的提升,以及存储价格的不断下降,这种低效率被很好的掩盖了。于是直到2007年之前,一直没有人能够认真严肃的对待这个问题。这种低效终于在做大量数据分析从而进行结果推断的过程中,暴露了出来。于是,大数据应运而生。

本质上来将,大数据工具们指明了大量数据如何被存储、维护以及分析。他们可能不会完全取代传统的数据库,不过至少像Hadoop这样的存储系统取代了数据访问的方式。

(责任编辑:蒙遗善)

时间: 2024-10-10 15:05:31

谈大数据:高效的数据存储、维护以及分析的相关文章

Facebook前主管谈大数据技术趋势和演变

本文讲的是Facebook前主管谈大数据技术趋势和演变,全球系统架构师大会于8月10-12日在深圳万科国际会议中心隆重举行.首先给大家带来分享的是前Facebook数据基础设施团队主管,Qubole创始人,CEO Ashish Thusoo,他主要介绍了大数据架构以及怎么样不断的演进,与其说演进,不如说革命.其中主要包括三个方面的主题: ▲全球系统架构师大会现场报道 第一,大数据的需求.当今世界需要大数据,有哪些驱动因素促使我们不同方式考虑大数据?以不同方式处理数据. 第二,技术给我们带来哪些架

大数据时代结构化存储云HBase技术架构及最佳实践

在10年,阿里研究HBase,是为了解决阿里容量及并发的实际问题,按照数据库要求,阿里深入HBase技术,并致力于保障稳定性和性能,目前已经有10000台规模,数百个集群,大约1亿的QPS,服务整个集团的业务.17年,把这部分能力也开放给公有云客户.本文中,阿里云高级专家封神带来了主题演讲<大数据时代结构化存储云HBase技术架构及最佳实践>,介绍HBase的应用选择.实战案例.技术平台解读以及后续的规划. 为什么应用HBase 一般而言,传统关系型数据库面临着成本.容量.QPS.分析等多方面

浅谈大数据分析师

在大数据崛起的时代,数据分析师这个职业将会越来越受到大家的青睐.数据分析师的职业现状和发展如何?数据分析师有哪些专业要求?在工作中到底需要做什么?这些都是想走进数据分析这个行业的童鞋们的疑问,数据观小编整理了一些数据分析行业前辈们的分享内容,供大家参考. 数据分析师的职业现状和发展如何有哪些专业要求 数据分析师的职业现状和发展 前不久看到这样一条新闻"未来广告是否有效的关键是数据分析"不只是广告营销,越来越多的行业看重数据分析这一领域,在信息爆炸的今天,一个优秀的数据分析师可以帮助企业

火币网徐宝龙谈大数据网络攻防与区块链

文章讲的是火币网徐宝龙谈大数据网络攻防与区块链,2017年5月11日-13日,2017中国数据库技术大会于北京国际会议中心盛大开幕.作为国内最受关注的数据库技术大会,本届大会以"数据驱动·价值发现"为主题,汇集多个领域的百余位专家,与大家共同打造一场以数据为驱动力,为企业进行价值创造的技术盛会. 在13日下午的区块链与大数据专场中,来自火币网的区块链投研中心的负责人徐宝龙为大家带来了主题演讲<大数据.网络攻防与区块链>. ▲火币网区块链研究中心负责人 徐宝龙 日前近百个国家

CNCC 人物专访 谭晓生(上)| 360 首席隐私官谈大数据与个人隐私的博弈

     现任奇虎 360 科技有限公司首席隐私官,2013 中国互联网安全大会主席. 2009 年 7 月加盟北京奇虎科技有限公司担任副总裁,负责公司网站技术.技术运维.数据分析与挖掘.云查杀.云存储等业务的技术团队管理. 1992 年毕业于西安交通大学计算机科学与工程系计算机应用专业.2003 年 1 月至今先后任 3721 技术开发总监.雅虎中国技术开发总监.雅虎中国 CTO.阿里巴巴-雅虎中国技术研发部总监.还曾任 MySpace CTO 兼任 COO. 目前还担任 CCF 副秘书长,Y

浅谈大数据现状:误区严重 人才紧缺

文章讲的是浅谈大数据现状:误区严重 人才紧缺,大数据现在很热,企业.个人都在谈论,每个人对大数据有着自己不同的看法和观点,但是笔者通过日常与朋友们聊天,发现很多朋友对大数据仍然具有一些观念上的误区,比如很多人会认为大数据是一个最新的技术,还有一些朋友认为多有数据只服务自己一个人等等,这些问题我们在本期都会与大家讨论. 大数据不是一项最新技术 大数据现在已经融入我们的生活,人们在日常工作办公的时候都会接触到大数据,这些大量数据总会以不同的形式,以及庞大的数量存在和运用,这也导致了很多朋友认为大数据

浅谈大数据:如何成为大数据企业?

文章讲的是浅谈大数据:如何成为大数据企业,1.什么叫大数据? "大数据"是"数据化"趋势下的必然产物!数据化最核心的理念是:"一切都被记录,一切都被数字化".最近2年所产生的数据量等同于2010年以前整个人类文明产生的数据量总和,更重要的是,数据来源极大丰富,形成了多源异构的数据形态,其中非结构化数据所占比重逐年增大.牛津大学互联网研究所Mayer-Schonberger教授指出,"大数据"所代表的是当今社会所独有的一种新型的

放眼业界看得见的未来 十谈大数据时代

本文讲的是放眼业界看得见的未来 十谈大数据时代,半年前开始讨论大数据时代的到来时,大数据还只是个专业小圈子里探讨的话题.到今天大数据这个概念已经在业界内外和大众媒体上沸沸扬扬地广为传播,并不断涌现出这个方向上的努力与创新了.正所谓"历史潮流,浩浩荡荡,顺之者昌,逆之者亡",这个过去只用在政治话题上的说法借过来描述大数据时代的到来与迅猛发展的形势真是再恰当不过. 站在不同角度看大数据,它既可能是大机会,大发展,大创新,也可能是大危机,大破坏,大淘汰. 目前,最活跃的领域是网络终端创新和网

富士通大数据架构解决方案闪耀存储峰会

文章讲的是富士通大数据架构解决方案闪耀存储峰会,世界领先的ICT综合服务商富士通(Fujitsu)近日亮相2013(第九届)中国存储峰会.作为目前国内存储界规模最大和历史最长的存储大会,本届存储峰会以"数据造化 智见未来"为主题,包括富士通在内的30多位专家发表演讲,共同探讨大数据时代下的数据价值.透视未来发展的宏伟蓝图.在会上,富士通(中国)信息系统有限公司产品战略事业部总监李帆与现场嘉宾分享了主题为<富士通大数据架构解决方案>的演讲.他指出大数据时代本质:是科技创新的量