Sybase海量数据存储、访问及管理简介

--Sybase VLDS(Very Large Data Store)解决方案及成功案例

海量数据是当今商业面对的一个现实

随着信息化程度的提高,数据已超出它原始的范畴,它包含各种业务操作数据、报表统计数据、办公文档、电子邮件、超文本、表格、报告以及图片、音视频等各种数据信息。人们用海量数据来形容巨大的、空前浩瀚的、还在不断增长的数据。

海量数据是当今商业面对的一个现实。任何一个企业都在面对其企业数据库由于规模扩大产生的沉重负担,提高海量数据访问能力和业务分析能力的要求也变得越来越迫切。

· 数据爆炸。如今,需要企业进行管理的数据正在以指数级速度增长。分析人员发现,公司收集、存储和分析的有关客户、财务、产品和运营的数据,其增长率达125% 之多。各个方面的因素导致了数据的爆炸,如:网络应用增加了数据的增长速度;监控点击流需要存储与以往相比越来越多的不同的数据类型;多媒体数据也增加了对存储的要求;我们存储并管理的不仅仅是数字和文字,还有视频、音频、图像、临时数据以及更多内容,这些数据的增长速度也在不断地上升;数据仓库和数据挖掘应用鼓励企业存储越来越长的时间段内越来越多的数据。这些实际情况导致的结果就是数据大量增加。

· 法规方面的要求。在会计丑闻的唤醒下,立法者和决策人施加了严格的新要求,几乎影响到全球各家大型企业。法案要求公共公司遵守严格的金融记录保持与报告法规。如果公司不能及时、可靠地访问准确的财务信息,那么它们将面临罚款、调查、起诉、甚至更严厉的股东信心下降的威胁。这要求公司能提供对更多数据的不间断访问能力并进行更多的分析,这必然会延长数据的维护周期,增加数据容量。

· 非结构化数据应用的需要。结构化数据是指诸如企业财务账目、客户信息、业务操作数据等具有明显结构化特性的数据。非结构化数据包括扫描文档图像、传真、照片、计算机生成的报告、字处理文档、电子表格、演示文稿、语音和视频片段等。根据业界分析报告,非结构化数据占有整个信息量的85%以上,数据量及其庞大,是信息资源管理的核心。同样,企业需要对非结构化数据进行存储、检索、过滤、提取、挖掘、分析等各方面应用。

· 历史数据归档与访问的需要。一般来说业务系统是用来处理业务交易的,为了使这些关键业务系统的性能不会受到严重影响,往往业务系统只存放短周期内的业务交易数据,大量的历史数据都被备份到磁带上,或者被转移到其他存储设备上静态保存,当对它们运行SQL 查询时再把它们从档案环境中恢复出来。但是随着企业对数据的重要性越来越重视,以及数据分析、数据挖掘的应用逐渐普及,历史数据的访问将变得重要、频繁和直接。历史数据的不断积累,也对海量数据的存储、管理和访问提出了新的需求。

· 数据整合与数据分析的需要。当前,企业信息的存放具有数据结构多元化、存储异构化的特点,企业的数据可能存储在传统系统、大型数据仓库或具有计费、订购、制造、分销或其他功能的数据运营孤岛上,因此会给访问带来极大的困难。数据整合与数据分析已经成为信息管理技术的应用热点。只有在有效的数据整合基础上,才能消除信息孤岛,降低有效信息获取的难度,通过对整合数据的分析和加工来获得制定策略所必需的信息依据。

传统的关系型数据库面临更大的挑战

传统的关系型数据库在计算机数据管理的发展史上是一个重要的里程碑,这种数据库具有数据结构化、最低冗余度、较高的程序与数据独立性、易于扩充、易于编制应用程序等优点,目前较大的信息系统都是建立在结构化数据库设计之上的。

然而,随着越来越多企业海量数据的产生,特别是Internet和Intranet技术的发展,使得非结构化数据的应用日趋扩大,以及对海量数据快速访问、有效的备份恢复机制、实时数据分析等等的需求,传统的关系数据库从1970年发展至今,虽功能日趋完善,但在应对海量数据处理上仍有许多不足。

缺乏对海量数据的快速访问能力

当你的竞争对手在周五下午宣布了新的价格体系,你所在机构的总裁在周一早晨之前想要一份对你公司有何影响的分析报告,业务分析员想做的最后一件事情是花费20分钟等待整个表扫描和多表连接来获得“如果……会怎么样”的查询。因为没有经过优化的查询会耗费很长的时间;进行查询的用户,其需求需要按计划执行;多个查询会竞争CPU资源;并且业务需求经常被改变。所有这些都要求不断调整优化数据库或甚至重新设计数据库。

缺乏海量数据访问灵活性

在现实情况中,用户在查询时希望具有极大的灵活性。用户可以提任何问题,可以针对任何数据提问题,可以在任何时间提问题。无论提的是什么问题,都能快速得到回答。传统的数据库不能够提供灵活的解决方法,不能对随机性的查询做出快速响应,因为它需要等待系统管理人员对特殊查询进行调优,这导致很多公司不具备这种快速反应能力。

对非结构化数据处理能力薄弱

传统的关系型数据库对数据类型的处理只局限于数字、字符等,对多媒体信息的处理只是停留在简单的二进制代码文件的存储。然而,随着用户应用需求的提高、硬件技术的发展和Intranet/Internet提供的多彩的多媒体交流方式,用户对多媒体处理的要求从简单的存储上升为识别、检索和深入加工,因此如何处理占信息总量85%的声音、图像、时间序列信号和视频、E-mail等复杂数据类型,是很多数据库厂家正面临的问题。

海量数据导致存储成本、维护管理成本不断增加

大型企业都面临着业务和IT投入的压力,与以往相比,系统的性能/价格比更加受关注。GIGA研究表明,ROI(投资回报率)越来越受到重视。海量数据使得企业因为保存大量在线数据以及数据膨胀而需要在存储硬件上大量投资,虽然存储设备的成本在下降,但存储的总体成本却在不断增加,并且正在成为最大的一笔IT开支之一。另一方面,海量数据使DBA陷入持续的数据库管理维护工作当中。

时间: 2024-10-31 19:02:38

Sybase海量数据存储、访问及管理简介的相关文章

大数据的存储和管理简介

任何机器都会有物理上的限制:内存容量.硬盘容量.处理器速度等,我们需要在这些硬件的限制和性能之间做出取舍,比如内存的读取速度比硬盘快得多,因此内存数据库比硬盘数据库性能好,但是内存为2GB的机器不可能将大小为100GB的数据全部放入内存中,也许内存大小为128GB的机器能够做到,但是数据增加到200GB时就无能为力了. 数据不断增长造成单机系统性能不断下降,即使不断提升硬件配置也难以跟上数据的增长速度.然而,当今主流的计算机硬件比较便宜而且可以扩展,现在购置八台 8内核.128GB内存的机器比购

5.22成都workshop:1、海量数据存储与多媒体处理

海量数据存储与多媒体处理 场景简介 某游戏公司小吴需要将游戏的静态数据比如图片放在在OSS上 某游戏公司小吴需要对存放在OSS上的图片进行缩略.旋转.裁剪等处理 实验概述 具体步骤 1. 下载资源包,解压后找到oss.zip,并再次解压出来 2. 登陆阿里云官网 点击登陆界面,输入账号和密码登陆即可,如果要求绑定手机号,则选择"下次再说" 3. 进入OSS控制台 4. 新建bucket bucket名称的字符集是小写字母.数字和横杠,全局唯一,自己定一个就行,本文档以storage-w

Windows Server 2008中的可移动存储访问组策略设置

在Windows Server 2008 中,管理员可以应用组策略来控制用户是否可以对使用可移动介质的任何设备进行读取或写入.这些策略可用于帮助禁止将敏感或机密材料写入可移动介质或包含存储区域的可移动设备后带走. 此策略设置可以在两个位置找到.在"计算机配置\管理模板\系统\可移动存储访问"中找到的策略设置将影响计算机和登录计算机的每个用户.在"用户配置\管理模板\系统\可移动存储访问"中找到的策略设置仅影响对其应用了策略设置的用户,包括组(如果使用 Active

阿里云文件存储和自我管理的云解决方案的TCO比较

    阿里云文件存储是一种完全托管的文件存储服务. 很多客户也会使用第三方软件搭建自我管理的云解决方案. 本文重点从总体拥有成本(TCO)的角度,对这两种文件存储服务进行比较.   使用阿里云文件存储服务的总拥有成本,是使用第三方软件的自我管理云解决方案的28.91%     阿里云文件存储架构:                                           图1: 阿里云文件存储功能块图        阿里云文件存储是基于阿里云飞天平台的分布式共享文件系统.具有高可靠.

基于本体的云存储访问控制技术研究及实现

基于本体的云存储访问控制技术研究及实现 华东理工大学  孙弘 本文根据云存储的访问控制特点,基于云存储标准(CDMI),对RBAC模型的访问控制域.存储对象和角色继承等进行了改进,增加了对角色和权限的时间约束:同时利用本体技术和OWL语言,建立了访问控制模型的本体,用语义技术描述了DOnto_RBAC的实体和策略,从而通过本体实现了多域环境下,访问控制安全策略在矛盾检验.基于充要条件的自动分类和实例自动归档三方面的推理.模型通过Python语言实现访问控制管理,并建立Restful形式的API,

云计算环境下高分辨率遥感影像存储与高效管理技术研究

云计算环境下高分辨率遥感影像存储与高效管理技术研究 浙江大学 康俊锋 本文的主要研究内容如下: (1)设计云计算环境下的高分辨率遥感影像存储模型C-RSM在分析和对比当前主流云平台基础上,提出整合已有云平台Hadoop及Eucalyptus,并围绕遥感影像数据共享及地图服务等应用的特点,设计了基于Hadoop云平台下的高分辨率遥感影像数据组织方法:版本变更管理机制:并提出了Hadoop云平台下高分辨率遥感影像数据划分及存储策略:及设计了Hadoop云平台下高分辨率遥感影像存取算法,存取算法主要讨

紫光西部数据海量数据存储成就中信建投证券业务创新

   近日,紫光西部数据有限公司(以下简称"紫光西部数据")和中信建投证券股份有限公司(以下简称"中信建投证券")共同宣布,中信建投证券海量数据存储创新项目实施获得成功.通过采用紫光西部数据动态归档存储系统,中信建投证券成功实现了对于海量离线数据的深入挖掘分析,并通过创新型"近线存储"方案,有效节省了整体存储成本,提高了存储系统性能,保证了数据存储的稳定性,并为中信建投证券未来金融业务创新奠定了坚实基础. 开启金融行业海量数据存储创新模式 作为中

HDS发布存储内容智能管理工具

HDS发布存储内容智能管理工具责任编辑:editor005 | 2016-11-22 15:12:36 本文摘自:中国信息产业网-人民邮电报日前,HDS宣布基于旗下的内容产品组合推出内容智能管理工具(HCI),使之成为行业唯一的一款具备搜索和分析功能的对象存储产品组合.这一全新智能解决方案进一步完善了HCP产品组合,该组合当前提供了无缝集成的云文件网关和企业文件同步与共享功能,正在帮助企业持续改进其战略性管理数据的能力. 内容智能管理工具解决了一直困扰企业存储的难题,即在数量不断攀升的数据制造设

云存储访问控制措施实战经验

尽管普通消费者在使用这类服务时,不需要有太多的顾虑,但是,在选择云存储服务时,从加密到数据生命周期管理,需要解决很多安全方面的问题.企业的新兴领域关注于定义和控制访问方法以及定义实现基于云存储的控制 . 在本文中,我们将解释为什么云存储访问控制是一个重要问题,以及在制定和实施云存储访问控制和架构时,企业应考虑哪些问题. 我们还将讨论,在云提供商情境下,如何评估访问控制. 云存储访问控制措施 无论是云提供商管理员还是企业用户,管理访问控制应该是首要考虑的问题. 例如,Jacob Williams在