降低云存储成本:数据抽象和分布查询式数据访问

对于围绕云计算的所有应用来说,目前公共云服务中的应用只代表了IT总支出的一小部分。除非主流的、占企业预算大头的关键任务应用能够迁往公共云,否则这一态势将不会发生变化。

公共云应用的最大瓶颈似乎是高昂的云计算存储成本。与Web相关的云应用可能会存储数以百兆的数据,而关键任务应用则可能会存储TB级的数据,按目前的价格来看,其存储成本是大部分用户所难以承受的。但是值得庆幸的是,我们有两种策略可以来解决这一云存储成本问题:数据抽象和分布查询式数据访问。

将数据抽象方法用于商业智能和成本分析应用

商业智能(BI)与分析是云计算最有前途的两个应用。这些应用都聚集在重要IT决策上,且遍布在规划者和决策者中。这使得它们成为理想的云计算应用,但是通常企业估计一个试运行商业智能应用的运行成本至少为三万美元,这个价格相当昂贵。

建立真实而不过分庞大的大数据是我们之前提出的两个数据成本管理方法中第一个,即数据抽象的一个具体实施。数据抽象是从原始公司信息中产生一个或多个摘要数据库的机制,其数据库规模应确保它(们)能够被经济地存储在云计算中。

我们在医疗行业中的某一个客户说,通过诊断代码、治疗代码以及年龄/性别的形式,创建一组患者信息摘要数据库,将减少三百倍以上的信息量,这意味着其云数据存储和访问成本仅为未经数据抽象处理的三百分之一。

如果希望数据抽象方法成为一种高效的成本管理方法,那么就必须对如何进行分析以及分析的对象进行深入研究。大多数BI运行的目的并不是为了发现细节信息;它们是为了寻找某种规律或某种发展趋势。对于大多数的行业来说,有明确的变量非常重要,例如医疗行业中的诊断和治疗就是这样。通过对这些变量创建摘要数据库,能够通过加快访问速度来降低成本支出,同时也不会影响分析工作本身。一旦定义好变量的特定组合,那么之后如有需要从未抽象的数据中提取该组合的详细信息也是非常容易实现。这样一来,基于数据抽象的分析就成为了一个云应用,可以用于数据中心的详细分析操作。

对非结构化数据使用分布查询式访问方法

数据抽象方法适用于对具有少量重要变量参数结构化交易数据的分析应用。但它不适用于非结构化格式的传统大数据,这是因为非结构化数据的抽象比较难以实现。有些公司在创建电子邮件特定单词或单词组合高识别率数据库的应用中有过不少成功案例,但是其前提条件是这样的关键词/词组合是可以预先知道的。对于大多数应用来说,还是需要有一个更为通用的方法的。这个方法就是我们所提出的第二个数据成本管理策略——分布查询式数据访问方法。

通常来说,数据处理任务可以分为三个部分:对数据的实际处理、用于定位数据位置的数据库管理访问,以及从海量存储设备中获取信息的存储访问。如果由于成本原因而无法把大量的信息迁往云,那么也就无法在云中实现信息的逐条访问。最好的解决方法就是在云以外的某地托管数据和查询逻辑,并发送数据库管理系统(DBMS)查询命令以提取数据的一个子集,从而实现在云中的数据处理。在企业内部确保DBMS引擎功能并只把查询和结果迁入/出云能够显著地降低数据存储和访问成本。

针对这类功能划分对应用程序进行结构设计是相对简单的,事实上,正有越来越多的厂商提供了包含存储/查询功能的DBMS引擎或设备。但是,构建针对应用程序的检查以防止有问题的查询结构提供所有的数据信息是非常必要的措施。在这里,试点测试是不够的;在交付前,查询逻辑应当测试结果的大小。

认识到分布式查询处理的问题

大数据的一个特殊状况是,有可能出现信息不是存储在一个地方的情况。电子邮件、即时通信以及协作信息通常都被保存在它产生的地方,因此企业可能会拥有数十个或数百个网站。这就产生了分布式查询处理的问题,它通常被称为MapReduce的解决方案架构或最常用的开源实施Hadoop。

但结构化数据能够解决分布式查询;一家金融公司报告说,它的客户借用了从位于主要大城市区域三十多个数据库抽取数据而得到的经验分析结果。对于结构化的DBMS分析,即便查询命令被发送至每个站点以便于单独运行,也可使用SQL/DBMS命令来“综合”来自于多个站点的结果。这样一来,问题就转变成为要确保在每个地方查询命令都要被细分以便于完全运行;否则,运行每个命令就都要求访问其它地方的数据,其成本就会变得相当高。

虽然很多人都在关注如何创建混合云,但是对于未来云中关键任务应用程序来说,创建“混合数据”将是更为重要的任务。如果缺少一种最优化使用物美价廉本地存储资源和高度灵活云计算处理的方法,那么用户们可能会发现他们的大型数据将迫使他们保持传统的IT架构。这不仅会让云失去与关键任务应用程序相关的收入,而且也让云计算失去了对企业的吸引力。

时间: 2024-10-22 01:37:53

降低云存储成本:数据抽象和分布查询式数据访问的相关文章

一个简单算法可以帮助物联网,金融 用户 节约98%的数据存储成本 (PostgreSQL,Greenplum帮你做到)

PostgreSQL简直是工业界和学术界的完美结合,怎么说呢?下面娓娓道来.前段时间为大家分享了物联网行业分析以及PostgreSQL 为物联网场景量身定制的特性介绍.https://yq.aliyun.com/articles/18034https://yq.aliyun.com/edu/lesson/67今天再给大家分享一枚重磅炸弹,PostgreSQL 帮助物联网用户 降低98%的存储成本.这是个什么概念呢?举个例子,你原来要花100万买存储才能存下的数据,现在只需要花2万就能搞定.下面我

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析

在HDInsight中从Hadoop的兼容BLOB存储查询大数据的分析   低成本的Blob存储是一个强大的,通用的Hadoop兼容Azure存储解决方案无缝集成HDInsight.通过Hadoop分布式文件系统(HDFS)接口,完整的组件集合在HDInsight可以 在Blob存储数据的直接操作.在本教程中,学习如何建立一个容器的Blob存储,然后在里面处理的数据. 在BLOB存储中存储的数据能够用于计算的HDInsight集群被安全地删除,而不会丢失用户数据. 注意: 该ASV://语法中不

采用最新闪存驱动技术 戴尔再次大幅降低企业级闪存存储成本

  引言:中国北京,2015年7月21日──戴尔公司近期宣布其成为业内首家采用最新.最高密度.最低成本高性能企业闪存驱动器的存储阵列提供商,帮助各种规模的企业大幅降低与存储和管理宝贵的数据和IT应用相关的成本. 戴尔存储副总裁兼总经理Alan Atkinson在位于美国得克萨斯州奥斯汀的戴尔实验室视察基于TLC 3D NAND技术研发的全新闪存驱动器.戴尔闪存优化级软件能够让戴尔存储用户用超低价格体验全球独一无二的.高性能前沿闪存技术. ①戴尔的现代化存储阵列架构以及最新闪存驱动器技术,使其全闪

HCP:利用对象存储压缩存储成本

以DAS.SAN和NAS为主的存储架构在过去很长一个时期里都是数据中心中存储主要的存在形式,但是随着大数据时代的到来,非结构化数据逐渐成为企业存储系统中的重要组成部分,办公文档.文本.图片.标准通用标记语言下的子集XML.HTML.各类报表.图像和音频/视频信息等等都是非结构化数据的范畴,即便是发展非常成熟的SAN和NAS仍不能很好的应对非结构化数据带来的需求,可以说对象存储就是在这样一个背景下发展起来的. 对象存储架构的核心是将数据通路(数据读或写)和控制通路(元数据)分离,并且基于对象存储设

微软玩“追随” 削减Azure云存储成本

云计算的价格持续降低,但是对于IT部门的影响充其量就是少有波及.微软在亚马逊云服务(AWS)和谷歌降低了成本之后,也降低了Windows Azure云存储的成本. 然而,很多用户和分析师认为这次降价只是厂商们竞争的价格战而已.对于IT专业人士而言好消息在于云成本持续降低,但是三大厂商几乎同时将同时降价,对于云存储市场的影响并不是很大. 微软12月份为用户削减公有云产品存储成本差不多达到28%,根据周三该公司Windows Azure团队的博客中所述. "不管数字如何,微软的价格削减很少或者几乎没

msyql 日志分类、存储、启动,慢查询日志(一)

Mysql日志的分类: 出错日志(error log):(log_error)这个日志记载着服务器启动和关闭的情况,还记载着关于故障或异常状况的消息. 我们安装完数据库之后,启动数据库如果发生异常,我们应该首先查这个日志文件. 常规查询日志:(log)该日志包括客户连接的记录,来自客户的SQL查询和其他的各种事件.一般我们可以用其来监视用户的活动,谁在连接,从哪连接,执行哪些操作 慢查询日志:(slow_query_log)该日志用于改进查询性能,慢是有时间定义的,用变量(long_query_

存储-安卓 多个条件查询 数据库

问题描述 安卓 多个条件查询 数据库 安卓 想通过三个条件,城市,时间和类型对数据库中的数据进行查询 并且当其中某项为任何的时候,查询该项所有数据 例如:当城市="任何城市"时,数据库中存储城市这一列的所有数据都要获取 应该如何编写数据库 解决方案 可以在程序那边判断是否有'任何',再进行数据库操作,会比较简单. 解决方案二: 建议看一看数据库基础知识,比如where怎么查询 解决方案三: 拼接where条件 if (有城市) wherestr = xxxxx if (有城市) whe

七招助你节约存储成本

是否想在存储成本上节约一点金钱?你是否想在存储上节约大笔金钱?你可以遵循一些简单的守则并忽略摩尔定律.摩尔定律在它的等式中忽略了一个重要的变量:勤俭因素.文中介绍的几个简单的规则可以帮助你节约存储成本并帮助你掌控全局. 如下几个方法可以帮助你节约存储成本并帮助你掌控全局: 1.回收容量 容量回收经常被http://www.aliyun.com/zixun/aggregation/13879.html">系统管理员称为好的房间打扫.容量回收要经常进行.不仅在用户环境中要进行容量回收,在虚拟架

曾义:光伏业补贴发放不合理 降低度电成本是关键

2015年我国光伏产业又火了一把.数据显示,2015年光伏新增装机量约15GW(千兆瓦),同比增长40%以上,而累计装机约43GW,超过德国跃居全球第一. 在全球经济复苏乏力,欧美主要国家光伏装机大幅下滑的情况下,这样的成绩来之不易.在国家多项光伏政策的扶持下,同样经历了前期阶段性的困境后,自2014年以来,中国光伏产业持续回暖,多数企业经营状况得到较大改善,天合光能就是其中一个典型的代表. 尽管许多优秀光伏企业正顺势而上.成绩斐然,但天合光能有限公司销售总监曾义在接受<中国科学报>记者采访时