企业处理大数据从三个维度考虑

根据国际数据公司IDC 2011年发布的Digital Universe Study,全球信息总量每过两年,就会增长一倍。仅在2011年,全球被创建和被复制的数据总量为1.8ZB(1.8万亿GB)。相较2010年同期上涨超过1ZB,到2020年这一数值将增长到35ZB。

社交网络仅仅是1.8泽塔数据中的一部分,电子商务、政企、互联网和个人云端数据存储也在增加。传统的结构化数据向非结构化发展,随着互联网参与人群与互联网应用的增长,数据也在呈现越来越多样化的形态。视频、语音、文本、图片等传统单一介质的存储方式已经被打乱,取而代之的是更具交互性的数据,个体用户或者消费者在其中的贡献不可忽视。同时,宽带、无线通信、云计算的发展使我们的网速变得更快,获取数据随手可得,也推动了大数据的进一步繁荣。企业管理下的非结构化数据数量呈几何级增长,并且增速还在加快。考虑到如何合理保存和利用这些数据,企业IT所面临的压力不言而喻。

对此,世纪互联李志霄博士提出企业处理大数据可以从三个维度考虑,即大数据的挖掘、存储、迁移。

1、数据挖掘

在云中,数据散落分布于不同的物理机上,Hadoop等大数据挖掘工具在其中起到指针的作用,根据对信息内容的需求指向信息存储的空间,形成数据仓库。所有数据仓库的集合都存在于云数据中心的资源池中。根据实际需求选择数据挖掘工具,定义数据需求是CIO的首要任务。

2、数据存储

当企业数据存储于云端或者物理服务中,就需要对数据进行物理位置、查询、处理、删改等数据存储管理。每一次数据调用和存储,都需要企业为之付出相应的成本,包括电力、设备、带宽、计算能力等等。以数据云化和IT服务外包的方式能够降低单次访问成本,通过数据中心能效提升等方式,帮助企业IT降低整体费用。而数据读取过程提速、冗余数据处理等升级管理则将最大限度提升企业IT效率。

3、数据迁移

云迁移是个艰难的任务,需要专门的工具或服务团队。因为没有接口标准,用户必须先选好目标云。而今天云计算的一个大短板就是部署运维,客户群不具备这个能力,而现有的SI也大多停留在传统部署的层次。因此数据迁移对企业未来业务迁移所面临的一大挑战。选择具备云迁移能力云数据中心服务商可以帮助企业实现从传统数据中心向云平台部署的转换。

(责任编辑:蒙遗善)

时间: 2024-07-31 01:36:09

企业处理大数据从三个维度考虑的相关文章

企业实施大数据的三个问题和五大关键

很多正在实施大数据的企业或机构并不成功,为什么?他们实施大数据都存在共同的问题,最为典型和严重的是三个问题是 刚刚过去的2016年,是大数据从概念到务实落地的一年.在过去的一年内,互联网行业.电信行业.金融行业.房地产行业.汽车行业.娱乐行业.教育行业.零售行业.能源行业.医药行业.政府机关等都在不同程度的接触和实施大数据.很多正在实施大数据的企业或机构并不成功,为什么?他们实施大数据都存在共同的问题,最为典型和严重的是三个问题是: 问题1:业务部门没有清晰的大数据需求和规划 很多企业业务部门不

企业存储大数据的三种环境

大数据的部署实施需要结合具体的应用场景.实际上,http://www.aliyun.com/zixun/aggregation/13861.html">企业大数据的存储处理可以用 "三只小猪盖房子"(分别使用稻草.木头和砖头)的故事来说明,这个故事能更形象地反映数据存储环境下与交付服务(成本)相对应的不同保护级别(完整性和可靠性). 财务数据.对外报告和法规遵从性数据需在"砖房"(BRICKS)环境中存储处理.这些数据需要可靠的硬件基础设施,并与其原

企业部署大数据需要注意的三个陷阱

文章讲的是企业部署大数据需要注意的三个陷阱,大数据带来了巨大的机会,但是新手在部署大数据时经常出现一些问题,需要有经验的专业人士答疑解惑.根据Frost&Sullivan咨询公司的一份研究报告显示这些问题主要表现在以下三个方面:即不完整的数据收集.项目延期和资源匮乏. 事实上,这些问题已经非常普遍,同时给行业带来了巨大的风险,组织部署大数据急需专家的技术支持."相比企业自身解决,寻求专家的帮助将有效的帮助企业降低成本."Frost&Sullivan研究报告<The

从BAT看企业构建大数据体系的六层级

文章讲的是从BAT看企业构建大数据体系的六层级,本文将企业大数据体系的构建分为六个层级,但并非是线性过程,每个层级之间或有基础关系,但并不是说一定要逐层构建.例如创业型公司,在缺乏数据研发实力的时候,多数会借助第三方平台进行数据上报与分析.下面一张图,是本文的精华概括,后面一一展开与大家探讨. 一.数据基础平台基础的数据平台建设工作,包含数据平台建设,数据规范,数据仓库.产品数据规范,产品ID,用户ID,统一SDK等.很多公司的数据无法有效利用,就是缺乏统一规范,产品数据上报任由开发按照自己的理

重磅,企业实施大数据的路径

企业实施大数据主要有四个方面的内容: 第一,企业要建立数据文化,企业作决策应该用数据来说话. 第二,企业要建立数据的战略. 第三,企业在数据战略之下组织数据管理团队的能力. 第四,企业实施大数据的技术能力. 企业实施大数据的具体的建设路径有两个方面,一方面是自下而上,另一方面是自上而下. 自上而下 自上而下的路径,首先是有序地在管理层建立数据的决策文化,在企业文化层面建设起数据的使用意识,然后建立对应的组织架构.对应的部门和团队,确定需要招聘什么样的人进来.需要多少人.具体职责怎么划分,最后建立

企业实施大数据的五大关键(更新版)

刚刚过去的2016年,是大数据从概念到务实落地的一年.在过去的一年内,互联网行业.电信行业.金融行业.房地产行业.汽车行业.娱乐行业.教育行业.零售行业.能源行业.医药行业.政府机关等都在不同程度的接触和实施大数据.很多正在实施大数据的企业或机构并不成功,为什么?他们实施大数据都存在共同的问题,最为典型和严重的是三个问题是: 问题一:业务部门没有清晰的大数据需求和规划 很多企业业务部门不了解大数据,也不了解大数据的应用场景和价值,因此难以提出大数据的准确需求. 由于业务部门需求不清晰,大数据部门

探讨:数据驱动型企业与大数据商业模式

本文讲的是探讨:数据驱动型企业与大数据商业模式,2012年7月13日消息,2012第二届大数据世界论坛今天在北京开幕.本次论坛邀请了Forrester Research资深分析师曹宇钦 .IDC中国高级分析师周林等权威第三方咨询机构;微软亚太研发集团首席技术官孙博凯.赛仕软件中国总经理刘政.甲骨文大中华区技术总经理喻思成.Splunk亚太及日本区域副总裁刘文熙等业界主流厂商高层;以及支付宝首席商业智能官车品觉等来自金融.电信.电子商务.制造业等重点应用行业的用户嘉宾等都将与会于业内专业人士面对面

物联网时代制造企业对大数据的运用分析

文章讲的是物联网时代制造企业对大数据的运用分析,每个人都是数据产生者.拥有者和消费者, 有人已经预言未来的时代是一个"大数据"的时代,关注大数据的人越来越多,同时 物联网的出现与发展推动了数据采集的能力,为数据库的建立提供了有力的支撑.数据的采集处理应用将成为时代的发展主题. 大数据对促进供应链中的生产环节产生了前所未有的巨大影响,每个企业都有自己的规划和自己企业在运营环节的管理最佳实践,在众多的运营决策改进里面,大数据的影响包括产品设计,质量控制,客户画像等等.下面从八个方面介绍大数

企业部署大数据准则:安全问题应未雨绸缪

"安全与隐私"自大数据概念诞生以来便一直伴随其左右. 在这个数据大爆炸的时代,企业通过大数据可以更加高效的洞察和预见消费者行为以及行业趋势,但同时也伴随着安全性的困扰.能否保护自己的隐私安全.信息安全,成为了企业部署大数据之前摆在面前的首道难题. Hadoop作为大数据的首选平台,从开发之初也一直被笼罩着安全性问题. 曾有开发者指出,"当Hadoop在2004年开始开发的时候,对如何创建一个安全的分布式计算式环境上没有考虑,Hadoop框架对用户及服务的验证和授权严重不足,用