长期归档面临的挑战:100年您准备好了吗?

 拿起 100 年前的书,您也许可以毫不费力地进行阅读,但读取哪怕只是 10 年或 20 年前的备份磁带,可能要困难得多。即使具有正确的硬件来读取磁带(且磁带本身仍然完好),您还是需要知道磁带的写入格式,且需要可以识别此数据的应用程序。情况可能会非常复杂,且随着时间的推移只会变得更麻烦。此时您也许会想:“没什么,我不需要将数据保存那么久。”

2007 年,存储网络工业协会 (SNIA) 完成了一项全面调查,在该调查中我们采访了来自世界各国各种组织的数百人。令人惊讶的是,80% 的人说他们的信息必须保存 50 年以上,68% 的人说他们的数据必须保存 100 年以上。足足 70% 的人还报告他们对阅读 50 年内所保留信息的感知能力很不满意。他们最关心什么类型的数据?电子邮件、客户记录、企业应用程序数据及数据库 — 我们大多数人每天处理的信息类型。还想再关注吗?

在本文中,我将解释长期归档面临的挑战,讨论您现在可以使用的一最佳实践,以及通过我担任主席的 SNIA 长期归档和法规遵从存储计划 (LTACSI) 谈谈正在进行的工作。

长期归档面临的挑战是什么?

简而言之,我们需要保留信息的时间(即使使用相对保守的 50 年图)远远超过存储系统(磁盘或磁带)和应用程序的典型生命周期。甚至保留期还要很久才过期,物理介质就开始退化,变得无法读取。

当前的实践是每隔 3 至 5 年迁移数据(同时在物理上和逻辑上)。物理迁移需要将信息从一个物理存储系统移到另一个系统,或从一种介质格式移到另一种格式以维持物理可读性、可访问性和完整性。这种类型的迁移的推动因素包括介质故障、介质或存储系统过时、系统更改及运作成本(人员、电力、空间)。

逻辑迁移需要将信息从一种逻辑格式移到另一种格式(如从应用程序的旧版本移到新版本),以保持可读性和可解释性。推动因素可能包括更改应用程序格式、过时的应用程序及合并。这两种迁移类型的障碍因素包括成本、复杂性、巨大的信息量以及时间和/或预算的不足。

上述 SNIA 调查表明,逻辑和物理迁移不能有效地规模化成本来满足当前和未来的需要。事实上,只有 30% 的被调查者每隔 3 到 5 年迁移磁盘上的数据。显然,需要使用新的方法来满足长期数字信息保留的法律、法规、业务、成本及可扩展性要求。

过渡解决方案

由当前存储系统和应用程序引起的限制近期不会消除。那么,现在您应采取什么措施来解决长期保留问题?当前最佳的建议是,针对您的应用程序、操作及数据存储库实施正式生命周期管理流程,以在使用寿命中解决数据管理的效率问题。最佳实践应包括:

· 所有相关人员 (IT、RIM、法律、业务、安全性) 密切协作,以确保解决所有需要

· 清晰地标识现有的所有资产和资源

· 将信息分类,以便确定保留需求

· 制定保留、保护、安全性、法规遵从等等的要求

· 满足要求的服务实施

· 测评和改进

有用的实践可能包括:

· 按一些常用存储段将信息分类

· 设置保留期限及删除过期的数据

· 控制您针对数据保护维持的数据副本数

· 设置审计策略并加以执行

· 使用基于标准的存储平台

长期保存策略应确定业务、法律及法规遵从目标,且包括每个存储库遵守的最佳实践说明(包括物理和逻辑迁移)。物理迁移的目标应从固定期限(3 到 5 年)迁移到“所需的”策略。联合的、基于标准的虚拟化系统(如运行 Data ONTAP GX 的 NetApp 存储系统)有助于最大限度地减少迁移所涉及的中断、复杂性和人工。

对于逻辑迁移,您必须能维持真实性,即保证数据完好如初。此外,您应仅根据需要迁移,在保留某些数据时可能要考虑其它方法:将数据转换为标准格式(XML、PDF等),将硬件归档(若适用)或使用缩微胶片。

这似乎很复杂。虽然您必须按需执行物理和逻辑迁移,且这两种操作不能同时进行, 但目前几乎没有办法可确保保留的数据长期保持可读性。幸运的是,可以执行一些重要的工作来帮助解决这种情况。

  标准工作

显然,迄今为止,存储行业还无法解决长期数据保留的问题。目前的归档应用程序所使用的专有数据格式会明显地将您限定在解决方案中,将来可能会使迁移工作更加复杂。所有这一切即将改变。

对于长期归档(15 年以上),最大的挑战是逻辑迁移。与专有存储格式相反,使用有效的生命周期管理流程和当前基于标准的存储技术足以解决物理迁移情况。此情况应该会得到进一步改善,因为供应商开始将注意力更加集中在可满足长期存储需求的硬件上。(见侧栏的示例:协作研究长期归档。)

另一方面,逻辑迁移保持了应用程序的特定性,自动化主要流程变得更困难。完整“保存”不仅需要保持数据的可读性和可解释性,还需要使用元数据长期保留数据,元数据包括起源、参考信息(上下文)及确保完整性和真实性的机制。

为此,SNIA LTACSI 建议 SNIA 成立长期数字信息保留和保存技术工作组来研究封装(见侧栏)。封装定义由内容(数据)及关联的保存元数据组成的“面向保存的”逻辑容器。可以在 OAIS AIP(归档信息包)上模拟封装。图 2 显示了 OAIS AIP 容器的内容。

封装意味着“自包含”,因为容器包含信息的数据、元数据、参考信息、完整性和真实性检查、访问控制及日志。此内容使容器更便携且独立于存储设备。它可根据您为信息制定的要求,独立于应用程序来管理容器。

封装是“自描述的”,因为容器可以由不同类型的系统进行解释,且可以包括阅读器,从而独立于应用程序解释内容。对于长期保存,此功能非常重要。封装提供了任何应用程序可以理解的标准格式,而且在理论上可让许多应用程序类型访问归档的内容,如 ECM、法律、迁移、保存等等。

目标是消除对频繁的逻辑迁移的需要,以便组织在经过长时间后根据需要继续访问和使用归档数据,消除了因定期更新数据以适应应用程序更改而导致的开销和复杂性。

  NetApp 和长期归档

从硬件角度来看,NetApp 长期以来就认识到,物理数据迁移(无论用于归档还是其他目的)很复杂且容易中断。因此,NetApp 正朝支持分层存储的扩展硬件体系结构的方向发展(包括满足法规遵从需求的一次写入,多次读取 (WORM) 卷),从而以不中断的方式减少数据从一个层到另一个层的迁移。除现有的存储设备以外,此体系结构还允许透明地合并新的存储构建块(物理介质、存储控制器),极大地简化了物理迁移流程。

为满足归档和法规遵从要求,NetApp open SnapLock 技术可在 NetApp 存储设备上创建 WORM 卷来满足公司管理和法规要求,而无需单独的物理存储系统。NetApp 与业界领先的归档合作伙伴(如 Symantec、Zantaz 和 CommVault)通力合作,提供可利用 NetApp 硬件和软件技术的独特功能的解决方案。NetApp 还与这些合作伙伴合作研究长期解决方案。

从逻辑迁移的角度而言,NetApp 深知解决近期归档问题只是解决方案的一部分。我们很早就认识到需要行业标准,且对标准化工作作出了重要贡献。我在 NetApp 的职责中,其中一个主要职责是担任 LTACSI 的主席,与对解决长期数字信息保留、归档及法规遵从相关的存储实践感兴趣的最终用户、IT 专业人士、供应商、集成商及服务提供商通力合作。

您现在应该做什么?

最重要的事是立即采取措施,避免陷入将 TB 数据需要物理和/或逻辑迁移的危机中。最好的方法是遵循“过渡解决方案”中所述的准则,包括尽可能地使用开放式标准。开放式标准可在开始迁移时为您提供更多选择,有助于防止受制约。

如果您的组织尚未进行这些操作,请考虑实施数据分类以更好地了解数据及支持生命周期管理。然后,寻找可执行策略及简化物理迁移流程的解决方案(硬件和软件)。现在采取这些措施后,在未来几年制定了新的长期归档标准时,您将可以很好地利用这些标准。

 

 作者:过客

来源:51CTO

时间: 2024-07-28 14:58:48

长期归档面临的挑战:100年您准备好了吗?的相关文章

投资、出口和消费都面临严峻挑战

深圳华澳资本创始合伙人:詹川 中国宏观经济环境继续恶化.上半年国内生产总值GDP同比增长7.8%,其中二度增长7.6%,这是时隔3年后经济增长速度再一次回到8%以下,也是去年以来连续6个季度经济增速回落. 原先拖动中国经济增长的3驾马车投资.出口和消费都面临严峻挑战.CPI和PPI相继回落到低点;受欧债危机走向长期化等影响,中国出口增速放缓,同时消费增长乏力,整体宏观经济面临较大的挑战,房地产对经济的拉动作用已经不复存在,地方政府大规模的基础设施建设难以为继.种种迹象表明,中国经济正处于长期下行

农商行在信息安全方面面临的挑战

本文讲的是农商行在信息安全方面面临的挑战,经济社会发展对信息化的要求和依赖程度越来越高,面临激烈的竞争,包括物联网.云计算在内的信息技术迅猛发展,不仅极大加速全球化进程,而且正在飞速改变金融行业的发展方向和形态,在这场深刻的技术变革中谁能在信息化上先人一步,高人一筹,谁就能够在激烈的竞争中处于有利的地位,抢占到行业制高点. ▲ 北京农村商业银行信息技术部副总经理 陈扬宁 2010中国金融科技大会在京召开,记者在大会上联系了北京农村商业银行公司(以下简称农商行)信息技术部副总经理陈扬宁,陈扬宁就农

云上运行 Hadoop 会面临哪些挑战

在云上运行Hadoop,很多人担心性能.因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差.确实,在云上运行Hadoop对平台方还是面临一些挑战的,下面主要讲述这些挑战及平台方怎么解决的. 作者:阿里封神来源:云栖博客|2016-06-02 14:15 收藏 分享 前言 在云上运行Hadoop,很多人担心性能.因为一提到虚拟化就会有人想到有成本,往往得出有偏见的结论-在云上运行肯定比物理机器上运行性能差.如果单独把10台物理机虚拟化跑Hadoop,这肯

Wintel联盟面临多重挑战押注于Windows8

[搜狐IT消息]6月11日消息,国外媒体今日刊发分析文章称,虽然Windows 8相关产品成为本届台北国际电脑展的最大亮点,但微软.英特尔和台湾电脑厂商之间的裂痕不可忽视,"Wintel联盟"面临重重挑战.以下为文章全文:Wintel联盟--微软.英特尔和生产相关设备的台湾企业--正在为Window 8下一笔重注.在上周的台北国际电脑展(Computex)上,Wintel联盟很大程度上可以说是联手出击,但从展会上可以发现,微软.英特尔与台湾厂商之间曾经非常紧密的关系已经因为这场规模浩大

大数据存储系统面临的挑战

随着互联网的不断扩张和云计算技术的进一步推广,海量的数据在个人.企业.研究机构等源源不断地产生.这些数据为日常生活提供了便利,信息网站可以推送用户定制的新闻,购物网站可以预先提供用户想买的物品,人们可以随时随地分享.但是如何有效.快速.可靠地存取这些日益增长的海量数据成了关键的问题.传统的存储解决方案能提供数据的可靠性和绝对的安全性,但是面对海量的数据及其各种不同的需求,传统的解决方案日益面临越来越多的问难,比如数据量的指数级增长对不断扩容的存储空间提出要求,实时分析海量的数据对存储计算能力提出

现代应用架构中的配置管理面临的挑战和应对之道

摘要:过去15年中,互联网产业开始蓬勃发展,基于互联网的各类应用大放异彩,而在信息技术上,企业应用架构也逐渐从传统的ERP,JavaEE集中式应用开始走向互联网.云计算.分布式服务化架构的转型,在这个过程中,数据中心及应用的配置管理这个领域也发生了深刻的变化.本文简单介绍了在现代企业应用架构中,传统的围绕分散的配置文件为中心的配置管理方式在面对诸如微服务.DevOps.容器服务.云计算等新技术形式下面临的挑战,同时会探讨如何通过独立的配置中心服务集中式管理数据中心中的所有配置来解决这一挑战,同时

浅析大数据时代信息安全面临的挑战与机遇

"世界的本质是数据,大数据开启了一次重大的时代转型,也是一场生活.工作与思维的大变革".随着世界各大国在陆.海.空.天.电.网多维度战略的紧张部署,信息技术爆炸式发展.基于大数据发展对国家.社会的组织结构和治理模式,对商业.企业的决策方式和业务策略,对个人的生活思维方式等各方面产生的深刻影响,各界逐渐开始关注"信息"本身而不只是"技术"了.在大数据时代,人类信息管理准则也将面临重新定位,而在信息安全问题日益突出的当下,大数据给信息安全带来新挑战的

大数据面临的挑战:当大数据遭遇云计算

本文讲的是大数据面临的挑战:当大数据遭遇云计算,据IDC的报告,未来十年全球大数据将增加50倍.仅在2011年,我们就将看到1.8ZB(也就是1.8万亿GB)的大数据创建产生.这相当于每位美国人每分钟写3条Tweet,而且还是不停地写2.6976万年.在未来十年,管理数据仓库的服务器的数量将增加10倍以便迎合50倍的大数据增长. 毫无疑问,大数据将挑战企业的存储架构及数据中心基础设施等,也会引发云计算.数据仓库.数据挖掘.商业智能等应用的连锁反应.2011年企业会将更多的多TB(1TB=1000

微服务大规模化,面临的挑战?

前言 曾经看过<改变自己>的一篇文章<规模化思考>,讲述了对于某件事情,我们能否从十倍或者百倍的角度,思考其规模,从而在一个相当长的周期内,考虑价值的投入产出比. 最近,看到了Susan Fowler的演讲视频<Microservice Standardisation>,分享了她在Uber作为SRE,经历从800+ 服务到接近2000+服务的运维心得,并提出了一些有代表性的规模化观点. 识别二维码观看Susan Fowler的演讲视频<Microservice S