企业存储大数据的三种环境

  大数据的部署实施需要结合具体的应用场景。实际上,">企业大数据的存储处理可以用 “三只小猪盖房子”(分别使用稻草、木头和砖头)的故事来说明,这个故事能更形象地反映数据存储环境下与交付服务(成本)相对应的不同保护级别(完整性和可靠性)。

  财务数据、对外报告和法规遵从性数据需在“砖房”(BRICKS)环境中存储处理。这些数据需要可靠的硬件基础设施,并与其原始来源保持一致。企业中多个职能部门使用产品服务定价决策、销售业绩及分析以及至关重要的员工/管理层薪酬激励机制计算等财务数据,这是很常见的情况。

  精心设计的“木房”(STICK)环境可确保存储数据牢固耐用。该环境专用于应用程序,而并非针对企业级使用和跨职能部门数据共享而设计。该数据类型可专门用于数据转换,通常包括大量营销数据集市。仅数据转换、协调及沿袭等必要功能即可满足特定商业用途。与上述“砖房”相比,“木房”从本质上讲,成本更低,速度更快。

  最后介绍“草房”(HAY)。“草房”实际上是指在需要使用数据的特定日期对数据进行转换、分组及汇总。其中,数据可能以原始来源的数据格式存在,几乎不需要任何数据结构。用户可任意调整数据格式。虽然 “草房”设计无法轻易复制或纵向扩展,却适用于应对非特定、非重复性商业问题。该方案对数据协调及复制的需求低。

  使用“三只小猪”的类比相当直观,但具体解决方案应参考数据管控(Data Governance)方针。如能应对自如,业务部门希望快速获得低成本解决方案;而IT部门则需要依托可靠的解决方案,提供健全、可靠的服务。这也是业务及IT部门大多数讨论中的固有矛盾。

  由于部署迅速、成本低且失败的代价低,“草房”解决方案备受关注。在新的经济机制下,特别是在自助式环境下用户对数据(包括大数据)价值的认可,是数据实验室和探索环境快速发展的原因。因此,业务部门选择快速、低成本的解决方案也不足为奇。

  但将“草房”方案升级为“木房”或“砖房”环境时,IT部门的成本令人非常震惊。“为什么他们不能使用我们两周内设计的解决方案?”他们可以。但在“草房”的基础上部署“砖房”甚至是“木房”方案都行不通。利用“草房”的设计方案部署“木房”及“砖房”方案,将浪费IT部门大量预算。

  其主要挑战是识别数据重要性的数据管控策略和过程。在“草房”环境中设计出的“创意”方案需迁移至更稳定的环境时,参与数据管理方式(草房、木房还是砖房)决策的相关负责人需要全面了解下游数据的重要性。

时间: 2024-07-31 01:36:04

企业存储大数据的三种环境的相关文章

企业实施大数据的三个问题和五大关键

很多正在实施大数据的企业或机构并不成功,为什么?他们实施大数据都存在共同的问题,最为典型和严重的是三个问题是 刚刚过去的2016年,是大数据从概念到务实落地的一年.在过去的一年内,互联网行业.电信行业.金融行业.房地产行业.汽车行业.娱乐行业.教育行业.零售行业.能源行业.医药行业.政府机关等都在不同程度的接触和实施大数据.很多正在实施大数据的企业或机构并不成功,为什么?他们实施大数据都存在共同的问题,最为典型和严重的是三个问题是: 问题1:业务部门没有清晰的大数据需求和规划 很多企业业务部门不

企业处理大数据从三个维度考虑

根据国际数据公司IDC 2011年发布的Digital Universe Study,全球信息总量每过两年,就会增长一倍.仅在2011年,全球被创建和被复制的数据总量为1.8ZB(1.8万亿GB).相较2010年同期上涨超过1ZB,到2020年这一数值将增长到35ZB. 社交网络仅仅是1.8泽塔数据中的一部分,电子商务.政企.互联网和个人云端数据存储也在增加.传统的结构化数据向非结构化发展,随着互联网参与人群与互联网应用的增长,数据也在呈现越来越多样化的形态.视频.语音.文本.图片等传统单一介质

大数据时代三种数据成摆设

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 在这个人人都高喊"大数据时代"的今天,数据似乎被提到一个前所未有的高度.无论是个人站长还是大中型公司,亦或是大型跨国集团,无论是网络营销还是线下的市场营销都在意识到数据的重要性,凡是都以数据来说话.但是,据小生了解,在很多中小型公司和个人站长中,对于数据重视有余,却利用不足.首先声明,本文在数据高手面前,都有点多余,都是小

国家统计局与11家企业签订大数据战略合作框架

11月19日下午,国家统计局与山东卓创资讯集团.阿里巴巴等共11家企业在京签订了大数据战略合作框架协议,共同推进大数据在政府统计中的应用,不断增强政府统计的科学性和及时性.马建堂在致辞中指出,将大数据视为国家战略资源,主动拥抱大数据时代,积极抢抓机遇.应对挑战. 11月19日下午,国家统计局与上海钢联[6.94% 资金 研报]电子商务股份有限公司.山东卓创资讯集团有限公司.58同城信息技术有限公司.天云融创数据科技(北京)有限公司.中国联合网络通信有限公司.天脉聚源(北京)传媒科技有限公司.百度

企业部署大数据需要注意的三个陷阱

文章讲的是企业部署大数据需要注意的三个陷阱,大数据带来了巨大的机会,但是新手在部署大数据时经常出现一些问题,需要有经验的专业人士答疑解惑.根据Frost&Sullivan咨询公司的一份研究报告显示这些问题主要表现在以下三个方面:即不完整的数据收集.项目延期和资源匮乏. 事实上,这些问题已经非常普遍,同时给行业带来了巨大的风险,组织部署大数据急需专家的技术支持."相比企业自身解决,寻求专家的帮助将有效的帮助企业降低成本."Frost&Sullivan研究报告<The

探讨:数据驱动型企业与大数据商业模式

本文讲的是探讨:数据驱动型企业与大数据商业模式,2012年7月13日消息,2012第二届大数据世界论坛今天在北京开幕.本次论坛邀请了Forrester Research资深分析师曹宇钦 .IDC中国高级分析师周林等权威第三方咨询机构;微软亚太研发集团首席技术官孙博凯.赛仕软件中国总经理刘政.甲骨文大中华区技术总经理喻思成.Splunk亚太及日本区域副总裁刘文熙等业界主流厂商高层;以及支付宝首席商业智能官车品觉等来自金融.电信.电子商务.制造业等重点应用行业的用户嘉宾等都将与会于业内专业人士面对面

重磅,企业实施大数据的路径

企业实施大数据主要有四个方面的内容: 第一,企业要建立数据文化,企业作决策应该用数据来说话. 第二,企业要建立数据的战略. 第三,企业在数据战略之下组织数据管理团队的能力. 第四,企业实施大数据的技术能力. 企业实施大数据的具体的建设路径有两个方面,一方面是自下而上,另一方面是自上而下. 自上而下 自上而下的路径,首先是有序地在管理层建立数据的决策文化,在企业文化层面建设起数据的使用意识,然后建立对应的组织架构.对应的部门和团队,确定需要招聘什么样的人进来.需要多少人.具体职责怎么划分,最后建立

企业实施大数据的五大关键(更新版)

刚刚过去的2016年,是大数据从概念到务实落地的一年.在过去的一年内,互联网行业.电信行业.金融行业.房地产行业.汽车行业.娱乐行业.教育行业.零售行业.能源行业.医药行业.政府机关等都在不同程度的接触和实施大数据.很多正在实施大数据的企业或机构并不成功,为什么?他们实施大数据都存在共同的问题,最为典型和严重的是三个问题是: 问题一:业务部门没有清晰的大数据需求和规划 很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求. 由于业务部门需求不清晰,大数据部门

物联网时代制造企业对大数据的运用分析

文章讲的是物联网时代制造企业对大数据的运用分析,每个人都是数据产生者.拥有者和消费者, 有人已经预言未来的时代是一个"大数据"的时代,关注大数据的人越来越多,同时 物联网的出现与发展推动了数据采集的能力,为数据库的建立提供了有力的支撑.数据的采集处理应用将成为时代的发展主题. 大数据对促进供应链中的生产环节产生了前所未有的巨大影响,每个企业都有自己的规划和自己企业在运营环节的管理最佳实践,在众多的运营决策改进里面,大数据的影响包括产品设计,质量控制,客户画像等等.下面从八个方面介绍大数