依托云计算,挖据大数据背后的价值

  云计算是信息技术发展和信息社会需求到达一定阶段的必然结果。云计算技术的创新带动了新的商业模式的成功,对现有电子信息产业及应用模式产生了 巨大的震动,有着深远的影响.iDC预测,未来3年全球云计算领域将有8000亿美元的新业务收入。整个“十二五”期间,我国云计算领域的产业规模预计可 达7500~10000亿元人民币。目前,全球各大IT厂商正竞相进入云计算领域,以占据新一代信息技术的制高点。

云计算需避免两大误区

  在政府和业界的双重推动下,云计算已经变得炙手可热,成为新兴产业中最热门的领域。这说明云计算已经从“不知所云”到深入人心,同时也存在隐忧和困扰。其中的问题主要体现在两个方面:

  一方面是对于“云泡沫”的担忧。据有关调查,很多地方投巨资建成了所谓的“云”系统,但资源利用率却不足20%,云计算中心成了形象工程,甚至 成了变相的商业地产项目。云计算本身是一种绿色计算,不是比规模、比设备、比厂房,发展云计算不能变成简单的圈钱圈地,而要尽可能避免重复建设和资源浪 费,将云计算产业落到实处,让消费者受益于云计算。因此,云计算的创新应用,是云计算产业健康发展的试金石。

  另一方面是云计算被作为万能包装过度渲染,仿佛什么都可以云化,在互联网上什么都是云计算,以至于消费者和投资者常常困扰于对真“云”和假 “云”的辨别。云计算的本质特征是什么?首先,云计算是一种基于互联网、大众参与的计算模式,云计算的基本应用场景应该直接面向互联网,所需要的资源不在 客户端而是来自网络,即通过网络提供企业和个人所需要的计算力、存储空间、软件功能和信息服务等;其次,云计算的服务一定具有较高的可伸缩能力,云计算的 服务资源能够随着应用需求自动地动态调整,既能够在几分钟甚至数秒之内,自动地增加服务资源的数量、提升服务能力来应对网络的尖峰流量,又能随着应用的减 少,动态减少服务资源。

云计算支撑大数据发展

  大数据(Big Data)这个概念近年来在越来越多的场合被越来越多的人提及,并且经常是和云计算联系在一起。大数据无疑将给人类社会带来巨大的价值,科研机构可以通过 大数据业务协助进行研究探索,如环境、资源、能源、气象、航天、生命等领域的探索。那么云计算和大数据之间到底是什么关系呢?概括而言,没有互联网就没有 云计算模式,没有云计算模式就没有大数据处理技术。

  然而,云计算环境同样对大数据处理技术提出了新的挑战,这主要反映在传统的关系数据库不能满足大数据处理的要求,比如海量用户的高并发读写、海 量数据的高效存储和访问、系统的高可用性和高扩展性等。为此,业界一些厂商先后研发了一批包含分布式数据缓存、分布式文件系统、非关系型数据库和新关系型 数据库等新技术来解决上述问题。

  同样,由于海量数据的大数据量和分布性的特点,使得传统的数据处理技术不适合于处理海量数据。这对海量数据的分布式并行处理技术提出了新的挑战,开始出现以MapReduce为代表的一系列新处理技术,像数据并行处理技术、增量处理技术、流式计算技术等。

  云计算时代会有更多的数据存储于计算中心。数据是资产,云是数据资产保管的场所和访问的渠道。大数据的处理和分析必须依靠云计算提供计算环境和 能力,挖掘出适合于特定场景和主题的有效数据集。比如,《纽约时报》用云计算转换了1851年到1922年超过40万张扫描的图片,通过把任务分配给几百 台电脑,这项工作在36个小时内就完成了;信用卡公司Visa计算两年的纪录,包括730亿笔交易、高达36TB的数据,处理时间用传统方法需要1个月, 而采用基于Hadoop的处理技术只要13分钟。

挖掘数据背后的价值

  在互联网时代,特别是进入移动互联网时代后,人们只有通过数据挖掘才能从海量的低价值密度的数据中发现其潜在价值。移动互联网时代的大数据挖 掘,主要是网络环境下的非结构化数据挖掘,这些数据形态反映是鲜活的、碎片化的、异构的原生态数据。这种非结构化数据有什么特点呢?它常常是低价值、异 构、冗余的数据,甚至有部分数据放在存储器里没再用过。与此同时,数据挖掘关注的对象也发生了很大改变,挖掘关注的首先是小众,只有先满足小众挖掘的需 求,才谈得上满足由更多小众组成的大众的需求,因此移动互联网时代数据挖掘的一个重要思想,就是“由下而上”胜过“由上而下”的顶层设计,强调挖掘数据的 真实性、及时性,要发现关联、发现异常、发现趋势,并最终发现价值。

  事实上,互联网上交互的大众,不仅在享受服务,也在提供信息。公众的在线行为已经不能仅仅用浏览、搜索或挖掘来表征,正在演化为迅速地创造内 容,涌现出群体智能。小众的局部积聚特性又可以形成较大范围的“大众”特性,小众成为大众的基础。对公众、大众和小众的认识为我们认知人类在不同尺度上的 所谓微观、中观或者宏观的群体行为,为认知群体中的竞争与协作提供了机会。因此人们在进行数据挖掘的过程中要注重网络化大数据挖掘的方法,也即社区与社区 发现。例如,无线T恤公司(Threadless)是一个在线T恤零售商兼创作聚落,该网站透过用户设计及用户投票选出得票最高的T恤,让使用者能够分享 自行设计的T恤图案的同时,也让获胜者得到一定的酬金.threadless已经成为商业和社区模式双赢的典范,每周都能收到800多个新的设计方案,每 天有超过1000名新注册用户来进行设计和艺术方面的讨论,并根据设计方案所激发的灵感提交配套的音乐和视频。

  今天,互联网带宽正以每6个月翻一番的速度在发展,它比每9个月翻一番的存储发展速度和每18个月翻一番的计算发展速度都要快,带宽的迅猛发展让人类进入了交互时代,而交互又带动着计算和存储加速前进。

  大数据标志一个新时代的到来,这个时代的特征不只是追求丰富的物质资源,也不只是无所不在的互联网带来方便的多样化的信息服务,同时还包含区别于物质的数据资源的价值挖掘,以及价值转换等等。而大数据也将在云计算技术等的支撑下发掘出更多的价值。

时间: 2024-10-03 15:59:35

依托云计算,挖据大数据背后的价值的相关文章

数说云计算大会 寻找大数据背后的商机

本文讲的是数说云计算大会 寻找大数据背后的商机,上周,云计算大会在高温中落下帷幕.本次大会正值盛夏,但会场三天依旧人头窜动,高温酷暑也阻挡不住大家对云计算的热情.今天为您盘点一下本届云计算大会上的各种数据,看看能否从这些数据背后找到新的商机. 1.1天=19天 中国大数据专家委员会主任委员,中国科学院院士 怀进鹏: 一个PB的数据,光用现在最快硬盘读取速度1.9天,一个GB的数据需要五年左右完成,百度一天网页超过10个PB,百度用最快硬盘把数据读完就需要19天,一天数据需要19天读完,显然在数据

大数据时代下,CIO需要挖掘大数据背后的价值

云计算.大数据.移动化的技术浪潮中,创新管理与产品模式不断--云管理.云手机.云电视等陆续推出.在企业级市场,作为企业IT系统的核心基础设施,数据中心的建设.管理与运维也被推至举足轻重的地位. 云计算.大数据.移动化的技术浪潮中,创新管理与产品模式不断--云管理.云手机.云电视等陆续推出.在企业级市场,作为企业IT系统的核心基础设施,数据中心的建设.管理与运维也被推至举足轻重的地位. 大数据时代下,CIO需要挖掘大数据背后的价值,这就要求既要拥有海量数据,又要拥有海量数据的接入设备,以及实时的计

如何让隐藏在大数据背后的价值发挥出来?

对于普通人来说,大数据离我们的生活很远,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半--这些都与大数据有着千丝万缕的关系. 牛津大学教授维克托·迈尔-舍恩伯格在其新书<大数据时代>中说,这是一场"革命",将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发"数据暴政"的担忧. 如今

酷6网深挖大数据背后价值

随着大数据时代的来临,大数据在各个领域的应用越来越被重视.在网络视频行业也不例外,通过对海量数据进行分析,能够深挖出用户数据背后潜在的巨大价值,大数据的重要性得到更好的体现. 以近期备受关注的美剧<纸牌屋>为例,制作方Netflix在全世界拥有3300万订阅用户,用户每天在Netflix上产生3000多万个行为,给出400万个评分及300万次搜索请求.该公司对这些用户数据进行分析,根据用户喜好打造出<纸牌屋>,在美国等40多个国家成为网络点播率最高的剧集. Netflix利用大数据

云谷大世界对话:探讨云计算,碰撞大数据

北京·亦庄·云世界大会2013于12月12日在亦庄创意生活广场举行.本届云世界大会以"Cloud Now @ CHINA "为主题,围绕"趋势发展的世界云"和"自主创新的中国云"两大主线.延续北京硅谷对话"双城记"传统,来自硅谷的云计算顶级专家,云计算领域顶级的公司与中国互联网及云计算领域的领导企业.风云人物,通过技术.创新.投资.趋势等方面的碰撞,解读云计算本质.趋势.创新创业机会.同时,与会者也将零距离接触到中国云计算这几

窥尽大数据背后被遮掩起来的财富

当我们在谈大数据的时候,我们在谈论什么?大数据产业火爆的背后,有着深厚的利益驱动性,于是各大商家与企业纷纷趋之若鹜,想要窥尽大数据背后被遮掩起来的财富.毫无疑问,变现,是大数据火爆的背后原因. 大数据被潮流所接受,皆因它能够带来进步与利益 纵观古今,博览中西,能够经历历史的洗刷而留存下来的精粹,都是能经得住各种考验的东西,都是能够真实满足人类各种需求的东西.这些"东西",要么是从物质上说能给人类带来利益的--如农业.手工业.商贸等;要么是从情感上说能够给人类带来快感的--如绘画.舞蹈.

大数据背后的神秘公式(下):“贝叶斯革命”

在上一篇文章<大数据背后的神秘公式(上):贝叶斯公式>中我们讲到贝叶斯公式在联邦党人文集作者公案和天蝎号核潜艇搜救中大显身手后,开始引起学术界的注意和重视,而其上世纪八十年代在自然语言处理领域的成功,向我们展示了一条全新的问题解决路径.计算能力的不断提高和大数据的出现使它的威力日益显现,一场轰轰烈烈的"贝叶斯革命"正在发生. 一. 真正的突破 自然语言处理就是让计算机代替人来翻译语言.识别语音.认识文字和进行海量文献的自动检索.但是人类的语言可以说是信息里最复杂最动态的一部

大数据背后的神秘公式(上):贝叶斯公式

大数据.人工智能.海难搜救.生物医学.邮件过滤,这些看起来彼此不相关的领域之间有什么联系?答案是,它们都会用到同一个数学公式--贝叶斯公式.它虽然看起来很简单.很不起眼,但却有着深刻的内涵.那么贝叶斯公式是如何从默默无闻到现在广泛应用.无所不能的呢? ◆ ◆ ◆ 什么是贝叶斯公式 18世纪英国业余数学家托马斯·贝叶斯(Thomas Bayes,1702-1761)提出过一种看上去似乎显而易见的观点:"用客观的新信息更新我们最初关于某个事物的信念后,我们就会得到一个新的.改进了的信念."

大数据背后,不可忽视的“人”

当下中国,大数据是个热词. 无人汽车.人工智能.生物医疗,各种新科技中,大数据的身影无处不在,它像一把万能钥匙,开启了很多不为人知的空间. 但在人们热捧大数据的同时,却往往就数据论数据,甚至陷入数据膜拜,而忽视了大数据背后的人的因素.大数据是怎样发挥价值的?那些不会说话的数据又是怎样讲述鲜活的故事的?关注到腾讯近日发布的大数据报告<95后迷之隐私观大揭秘>,记者走进位于深圳的腾讯总部,走进那些让数据"活"起来的人. 大数据给不出解释 搞大数据研发,不就是坐在实验室.电脑前,