《智能数据时代:企业大数据战略与实战》一3.8 内存计算

3.8 内存计算

各种组织开始认识到分析数据的价值,并在努力探寻进一步提高该价值的方法。对于许多人来说,获得更高价值的途径就是提高处理的速度。发现趋势并应用算法来处理信息以形成附加价值,但前提是该分析可以实时产生结果。
然而,磁盘存储的群集和广域网连接的延迟使得通过BI解决方案很难实时取得结果。这样问题就在于实时处理所产生的价值能否抵消为追求更快技术速度而付出的额外费用。要找到这个问题的答案就必须确认实时处理的最终目标是什么,是为某个特定业务流程加快结果生成速度?满足零售交易的需求?还是获得竞争优势?
尽管原因有很多,但最终价值的多少还是要取决于获得更快处理技术在价格方面的可行性。而内存计算正符合这一需求。此外还有很多其他因素也在推动内存计算技术的采用。举例来说,《经济学家》在最近的一项研究中进行估算后得出,人类在2005年创造的信息总量约为150×260位元组,而到了2011年前述本已非常庞大的数额已经猛增到了超过1200×260位元组。
此外,据研究公司IDC(国际数据公司)估计,数字内容的总量每18个月就会翻一番。而相关非结构化数据的增长使得数据处理的复杂程度又进一步提升。事实上,研究机构Gartner预计有高达80%的企业数据都是非结构化的信息数据,其中涵盖了来自传统和非传统来源的数据。
在选择是否使用内存计算时,数据类型、数据量和数据访问速度都是影响决策的因素。然而,面对内存中处理能够为企业带来的价值,上述因素估计也无法阻挡高级内存中处理解决方案到来的潮流。
要理解内存计算在实际应用中的优势,我们必须审视迄今为止的大数据处理方式并了解当前对计算能力的物理限制,而后者要取决于访问关系数据库中的数据以及处理指令和所有其他大型数据集处理所需元素的速度。
使用基于磁盘的处理意味着涉及多个数据集或算法搜索处理的复杂计算不可能实时进行。数据科学家必须要等待几个小时到几天才能获得有意义的结果,对于讲求高效的业务流程和决策而言显然不是最佳的解决方案。
如今的企业需要以更快的速度获得结果以便以更快的速度进行决策,同时它们还可以将其余工具配合使用以更好地进行信息的访问、分析、管理和共享。所有这些都可为大数据带来更多的价值。
内存计算的使用提升了分析的速度并最终带来增值,相关技术价格的下降会使这种增值更加明显。内存系统的销售范围和每美元容量在过去数年中一直在上升,存储和处理大量数据的成本也因此得到了重新定义。
在价格下降和容量增加之后,现在企业已经可以将主数据库存储在硅基的主存储器中,这带来了指数级的性能提升并使全新应用程序的开发成为可能。而物理硬盘驱动器限制处理速度的时代也将彻底结束。
在业务决策者可以实时获得信息和分析结果的情况下,人们能够以之前无法想象的方式获得新的见解并执行业务流程。内存计算在大数据集领域的应用,代表了处理BI和业务分析的IT作业模式正在发生关键性的变革。
内存计算可以创造一个业务管理的新时代,相关的管理者将能够对复杂的数据进行实时分析,并作出决策,这种方法的主要优点如下:
数据处理的多重改进提高了数据处理的速度,扩大了数据处理的容量,相对于过去,性能有了数百倍的提升。
内存计算可应付迅速扩展的信息量,提供比传统物理磁盘存储快数千倍的访问速度。
对比基于硬盘的处理方法,内存计算在具有更好的性价比(可以抵消总成本的上升)的同时还具有实时分析这一大优势。
近年来中央处理单元和存储器的成本显著降低,再结合多核和刀片架构可以在实现数据操作现代化的同时提供可测量的结果。
利用内存计算我们得以将分析过程从成组硬盘驱动器和独立CPU转移至可以实时处理所有的日常事务、更新以及分析请求的单一综合数据库,由此也得以产生包括上述几点在内的诸多优势。
内存计算技术使我们可以在服务器的主内存计算大量交易数据并通过此类交易分析实时获得结果。
由于内存计算允许直接访问内存中的数据,获得查询结果的速度要远远高于传统磁盘仓库方法。此外,更新数据库所需的时间也显著减少,同时系统还能一次处理更多的查询请求。
由于流程速度、查询质量和业务洞察力方面的巨大改进,内存数据库管理系统的性能预期要比传统上基于磁盘的模型提升10到20倍。
尽管构成内存计算的元素早已存在,但直到现在,它们才达到可以普遍使用的程度。近年来的硬件改善和软件创新使得当今的内存计算能够在几秒钟内对大量的数据进行筛选、关联和更新。主存储器、多核处理和数据管理的技术进步共同带来了性能上的大幅进步。
内存计算可以为众多领域带来显著增益,其中最重要的是成本节约、效率提升以及改善决策的可视化速度提升。
不同规模和行业的企业都可以通过内存计算带来的成本节约中受益。目前大多数公司IT预算的25%以上都被用于数据库管理。内存计算数据库所采用的硬件系统在能耗上要远优于传统的数据库管理系统,这可以大大降低硬件和维护成本。
内存计算数据库还能减轻公司的整体IT负担并释放以前需要用于响应报告要求的资源。由于作为依据的技术已经成熟,内存计算解决方案可以无中断的方式获得实现,这样相关公司可以轻松并快速地恢复运营。
任何在经营上依赖频繁数据更新的公司都能够借助内存计算技术实现高效的运转。转向内存计算使相关公司能够从其IT架构中移除系统所需的一整个技术层级并由此降低了系统的复杂性和基础设施需求。上述简化使得几乎实时的数据检索成为可能,所有业务团队的效率也将因此得以提升。
利用内存计算,任何商业用户都可以轻易地挖掘出便于各部门调用的BI子集。工作组可以在中央数据仓库承载工作量不受影响的情况下自主作业。但也许最为关键的改进在于业务用户不再需要IT支持就可以洞悉业务数据的意义。
上述性能提升还使商业用户在旅途中能够通过自己的移动设备检索更多有用的信息。随着越来越多的企业开始将移动技术融入业务,上述功能的重要性正在不断提升。
通过以上几点可以明显看出,内存计算的出现使组织不再需要局限于在数据仓库中划分的数据子集,他们能够以更为全面的方式编译其业务数据。
借助上述数据库可视性方面的改良,企业能够从事后分析(被动)转变为实时决策(主动),并在随后创建基于预测而非响应的业务模型。企业可以从一开始就将易用的分析解决方案与分析平台配合使用并由此产生更多的价值。通过上述方法,即使没有多少专业知识的公司人员也可以构建查询条目和仪表板,由此又可能创造出很多内容方面的专家,他们无需外部支持就能自主提升行动的积极性。
对企业而言,内存计算的另一优势在于这种技术能带来信息特异性的提升,由此我们可以根据客户和企业用户的个人需求对数据元素进行定制。这样具体的部门或业务线就可以自主处理具体需求,由此产生的结果可以惠及管理链的上游和下游并为客户主管、供应链管理和财务运营带来影响。
利用内存计算技术,客户团队可以从几乎任何位置(包括办公或旅行位置以及携带的移动设备)快速轻松地组合不同的数据集并用其分析客户过去和当前的业务状况。商业用户可以使用最新的信息直接与客户进行交互;在由此创建的交互场景中业务用户可以直接与数据交互。通过实时的数据获取,业务用户能够更加了解相关情况并依此来开展销售和营销活动。而销售团队也可即时访问他们需要的信息,其掌握客户情况的能力将得到全面的提升,由此可实现更为高效的上行和交叉销售,并最大限度地提高收入增长速度。
在基于磁盘的传统系统中,数据的处理通常需要在夜间进行,这可能导致企业无法及时对重要的供应警报做出反应。内存计算技术完全解决了这个问题,因为该技术使企业能够充分掌握其供应链在每一秒钟的变化。借助上述实时洞察的能力,相关企业能够及时对不断变化的业务条件做出反应。举例来说,相关企业可以创建特定产品预存量预警和其他警报并在发生问题时从容应对。
对于财务总监来说,日益增长的数据量、数据处理不够迅速、分析延后和数据响应速度慢都会带来挑战。财务总监往往只有几天而非几个月、几个季度的时间来应对这些挑战。这可能使各方面出现延迟,而在每个财季结束时,这种情况愈加明显。然而,内存计算、大容量数据分析和灵活的建模环境可以加快财政季度结束阶段的处理速度,并在更长的期限内使更多的详细财务数据透明化。
从消费产品和零售到制造业和金融服务,任何行业的企业都能借助内存计算提升运营效率。消费品公司可以使用内存计算来管理自己的供应商、跟踪和追踪产品、管理促销互动并提供支持,以更好地遵守环境保护局的标准并对有缺陷和不合格的产品进行分析。
零售公司可以同时管理多个地点的商店运营,分析销售点的情况,执行多渠道定价分析并跟踪损坏、污染和退回的产品。制造企业可以使用内存计算保证运营绩效管理,进行生产和维护分析并开展实时资产利用研究。金融服务公司可以进行对冲基金交易分析,具体包括管理客户对货币、股票、衍生工具和其他票据的风险敞口。借助通过内存计算获得的信息,上述企业可以实时管理系统风险并根据市场交易风险提交报告。
随着大数据分析的普及,内存计算将会成为很多企业在寻求竞争优势过程中的主要依靠。

时间: 2024-10-18 04:22:38

《智能数据时代:企业大数据战略与实战》一3.8 内存计算的相关文章

舍恩伯格论大数据时代:大数据能做什么

文章讲的是舍恩伯格论大数据时代:大数据能做什么,7月28日,<大数据时代:生活.工作与思维的大变革>作者.牛津大学教授维克托·迈尔-舍恩伯格,参加了在青岛举行的2013年海尔商业模式创新全球论坛.论坛上,舍恩伯格纵论数据的价值.如何开发运用数据的价值,以及未来大数据时代将带来的经济模式变革. 要学会善用更多的数据 在过去的十多年中,互联网的广泛应用,极大降低了交易成本.但在舍恩伯格看来,另外一场革命即将到来,就是大数据时代带来的革命. 他举例说,一位华盛顿大学计算机系教授创办的大数据企业,到所

大数据时代:大数据应用随处可见可感可知

大数据是一场人人都想抓住的变革机遇.不管是IT巨头还是创业小团队,都想在这个极具变化的变革初期占领一席之地,立名.掘金.抢占话语权. 正如知名IT评论人谢文所说:"大数据之所以可能成为一个时代,在很多程度上是因为这是一个可以由社会各界广泛参与,八面出击,处处结果的社会运动,而不仅仅是少数专家学者的研究对象".数据产生于各行各业,这场变革也必将影响到各行各业,因此,机遇也蕴含于各行各业.致力于IT创业的人们紧紧盯着这个市场,洞察着每一个机遇. 如果说云计算主要提供了强大的后台运算能力,对

深处数据时代:大数据的这些误区你躺枪了哪个

大数据,说的再多其实也还是会有很多网友对当前的大数据技术存在一些疑问和误区,比如有很多朋友会觉得只有到达Peta级别以上的才能够被称之为大数据,甚至是到达了Zeta级别才算是. 其实不然,大数据的本身是数据,对于我们这些用户来说,如何从数据当中挖掘出有用的价值,这种价值可能包含了商业价值.技术开发价值等等,那么这样的大数据才是有意义的.而作为数据本身来说,从诞生那天开始其实数据量就一直在不断地攀升. 回过头来,究竟什么才是大数据,从官方的字面意义来分析,大数据其实就是一套完整的生态体系,从数据的

淘金大数据时代:大数据中的大价值

继云计算之后,"大数据时代"这一热词成为媒体争相追逐的焦点.那么,何为大数据,大数据价值几许?大数据时代又会给业界带来哪些机遇和挑战呢? 大数据时代悄然来临 不 是我不明白,这世界变化快12000年还是一张软盘打天下的时代,短短十多年光景,硬盘的存储容量已从4GB.16GB.32GB迅速攀升到 1TB.原来仅有1.44MB的软盘在当时感觉存储容量还是蛮大的,到现在硬盘容量蹿升至1TB了,反而感觉存储空间捉襟见肘,到底是哪里出现了问题? 大数据!一语惊醒梦中人,大数据时代已经悄然来临.随

信息过载的大数据时代,大数据推荐系统如何搭建,趋势何方

同比增长随着大数据时代的来临,网络中的信息量呈现指数式增长,随之带来了信息过载问题.推荐系统是解决信息过载最有效的方式之一,大数据推荐系统已经逐渐成为信息领域的研究热点.介绍了推荐系统的产生及其在大数据时代的发展现状.推荐系统的领域需求和系统架构.大数据环境下推荐系统的挑战及其关键技术.开源的大数据推荐软件.大数据推荐系统研究面临的问题,最后探讨了大数据推荐系统的未来发展趋势. 1 推荐系统与网络大数据 随着科技与信息技术的迅猛发展,社会进入了一个全新的高度信息化的时代,互联网无处不在,影响了人

互联网时代的大数据思考

ZDNET至顶网CIO与应用频道 07月14日 综合消息:主题为"新银行 新蓝海"的2014年中国银行业座谈研讨会在青岛召开,文思海辉技术有限公司商业智能事业部副总裁贾丕星介绍了文思海辉在大数据和互联网金融方面的探索. "在当前的时势下商业银行面临的各种挑战,包括互联网金融的挑战和冲击,大规模资产质量的下降造成的违约损失,利率市场化,这些都是商业银行现在不得不面对的事情,我们要探讨的是数据在其中起到的作用."贾丕星说道. 贾丕星表示,对于商业银行来讲,其本身内部大量

阿里集团刘冰:未来的时代是大数据时代

文章讲的是阿里集团刘冰:未来的时代是大数据时代, 7月23日上午消息,2015中国互联网大会之国际互联网高峰论坛在北京国际会议中心举行.阿里巴巴集团副总裁刘冰在现场做了主题的演讲. 刘冰表示,未来的时代是大数据时代,大数据就像魔方一样吸引着人类,相信在未来.在中国会产生100个.1000个.甚至10000个超越阿里巴巴的公司. 在其看来,现在我们生活在一个非常好的时代,互联网是基础设施,大数据是战略资源,云计算是核心竞争力. 以下是刘冰演讲全文: 尊敬的卢秘书长,尊敬的各位来宾.各位朋友,大家上

企业大数据: 重构商业模式

"大数据作为驱动新一轮技术革命的关键力量,可帮助企业快速感知市场,推动业务从供给驱动转变为市场驱动.个性化订单驱动,进而重构企业智慧."谈及大数据对企业的帮助,工业和信息化部信息化推进司司长徐愈如是说. 被称为"碎片中的智慧"的大数据技术,今年第一次"亮相"<政府工作报告>,其在企业层面的应用正在逐渐成熟,路径也逐渐清晰.徐愈坦言:"和两年前相比,各界人士对大数据的认识与理解更加理性.全面和透彻."来自市场研究机构

从信息公开到政府数据开放:大数据时代新要求

--从"政府信息公开"到"政府数据开放",有利于打造阳光政府. 继"政府信息公开"之后,当前人们又提出了"政府数据开放"的要求.有的人对这两个概念认识不深,认为二者没有多大区别.实际上,政府信息公开与政府数据开放是两个不同时代的要求.政府信息公开对应的是互联网早期的通信环境,当时互联网用户端通信速率很低,需要政府向公众提供加工后的信息.随着互联网通信技术的快速发展,今天我们已经进入大数据时代.大数据时代不仅表现为数据量的爆炸式

大数据时代说来就来 数据垃圾变黄金

大数据时代是指以大数据为驱动,影响生产率增长和消费者盈余模式的一个新的时代.大数据是高容量,高速度和高品质的信息资产,需要新的处理形式,其难以采用常规工具进行采集和处理,大数据时代里,常利用软件工具对海量数据进行挖掘和运用,借此帮助进行决策.洞察发现和流程优化. 大数据时代的迟到 一般来讲,大数据的概念提出可以追溯到上世纪90年代,大数据一词在当时就已经开始流行.而知名的咨询公司麦肯锡在2011年提出"数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素"正式代表着大数据时