移动数据时如何避免停机和中断

如今,越来越多的组织需要在数据中心和云端之间移动数据,但在移动数据期间面临停机的风险是一个难题。

据调研机构451 Research最新的预计,截至明年,约有60%的企业IT工作负载将在某种形式的公共云或私有云上运行。它在企业关键业务(包括数据分析和核心业务应用)方面实现了特别强劲的增长。而其他调研机构IDC,Gartner和Forrester的调查结果大致相同,即云计算迅速成为核心,而不是一般IT提供的外围设备。

那么,IT领导者对数据移动的风险以及相关的停机时间表示担忧,这并不足以为奇。现在,传统的数据集现在是10到20年前企业数据库平均大小的1000到100万倍。这意味着与移动相关联的潜在停机时间将会增加许多倍。这不再是只花费15分钟的时间,这可能是数据正在重新安置的几个小时的停机时间。

企业知道他们需要更多地利用云计算,特别是实施更具战略性和智能的事情:高速,高容量的数据压缩,以支持实时决策和复杂的自动化。如今产生的数据量也使得建设二级数据中心成本过高,而这是进一步推动企业走向云计算的因素。

但是将业务数据从数据中心迁移到云端的痛苦仍然让人望而却步。他们的数据在运输过程中可能会发生什么,如果他们无法再获得访问权限,或者如果在其他地方被使用,他们如何继续使用实时数据?

数据延迟也是一个问题。数据中心过去建在靠近企业经营的地方,以防止与网络传输相关的性能下降。但是,随着云计算的应用,数据中心之间的距离不在企业的控制之内,因此性能问题可能会减缓数据可用性和和协调性,这是一个重要的考虑因素。

关于停机的担忧也在灾难恢复方案中有效。例如,由于远程数据中心可能被要求实时系统备份并快速运行,因此首席信息官们会因为近距离和远程系统之间的不兼容而导致停机或数据丢失而担忧。例如,IBM公司将在网络研讨会上讨论这个问题。

未来将是现在

无论是日常的后台系统,还是那些支持与人工智能或物联网有关的雄心勃勃的新项目,组织都需要随时需要正在处理的数据的可用性和完整性。

例如,对于无人驾驶汽车而言,所有各方(乘客,汽车制造商,保险公司和第三方服务提供商)都需要绝对的保证车辆仪表和传感器,以及与之相连的云计算平台将能够持续实时发送,接收,解释和处理数据。据估计,具有传感器,相机和激光测量(LiDAR测量)的一台自主驾驶车辆每秒可产生100Gb的数据。

使用不断变化的数据集提供可行服务的唯一方法,无停机时间和无中断,这是人们称之为活动数据复制的方式。这允许实时数据同时存在于多个位置,而不会在每个终点被更新时不同步而有中断的风险。这种能力将允许汽车制造商和服务合作伙伴分析和回应关于车辆运行情况的现场数据,实时识别异常情况,以及事先确定哪些必要的补救措施。

许多组织正在转向采用基于Hadoop的分析(一种以速度进行大规模数据处理的特定方式),将大数据转化为可以在日常活动中使用的有意义和可操作的事情。很多企业使用Hadoop来分析和回应Twitter的活动。但是,这通常意味着将数据放入云计算中,其中所需的处理能力随时可用。

除非他们正在处理历史数据,否则企业将继续需要访问其核心业务系统中的数据,其中记录将继续更新。在这种情况下,使用云计算进行处理并不是简单的将批量装载的完整数据发送到目的地,这是巧妙发生的事情。

暂停不是一个选项

当对实时的生产数据进行分析时,企业无法承受数据来源的站点和数据处理点不同步。他们在任何新的事情发生之前,不能等待几天才能移动,分析和返回数据。这不仅仅是停机,而且是系统瘫痪。而且,这并不影响在迁移过程中可能发生的任何损坏或Hadoop分析事件后数据被协调的结果。

同样,避免与数据移动相关的停机和中断的唯一方法是找到一种在位置之间持续更新和同步数据的方法。谷歌公司通过精心制作的卫星设置实现了这一点,而企业也可以使用文中介绍的这样的巧妙算法来实施。 

本文作者:佚名

来源:51CTO

时间: 2024-12-21 15:46:52

移动数据时如何避免停机和中断的相关文章

向云上迁移数据时如何避免停机和中断

摘要:越来越多的组织需要在数据中心/云之间移动数据,但是在迁移过程中的一个关键风险点是停机. 在2017年的业务持续性意识周这里,我希望它能提供一个新的机会,来回顾这一领域云的一些局限性. 根据451项研究的最新估计,大约60%的IT工作负载将在明年以某种形式的公共或私有云运行.It项目在关键领域的增长尤其强劲,包括数据分析和核心业务应用.IDC.Gartner和Forrester的研究结果大致相同--云正在迅速成为中心,而不是一般IT供应的外围设备. 难怪It领导们对数据迁移的风险以及相关的停

dmp-oracle往导入数据时需要的表空间变得很大导致导入中断

问题描述 oracle往导入数据时需要的表空间变得很大导致导入中断 50C 用的oracle11g,我用imp导入一个3g左右的dmp文件,导入用户和表空间都是新建的应该不存在大小不够的问题,我之前试着导入的时候需要的表空间一直增长到了80g左右把我的硬盘都装满了.不知道有没有什么解决方法望指点. 解决方案 http://www.2cto.com/database/201311/254231.html 解决方案二: http://blog.csdn.net/qq275394303/article

sqlite删除数据库中的数据时偶尔会出现错误

问题描述 sqlite删除数据库中的数据时偶尔会出现错误 java.lang.IllegalStateException: Cannot perform this operation because the connection pool has been closed. 求助,connection pool 是啥啊,求大神指教. 解决方案 如果确定不是连接被关闭,那还有可能就是多线程访问sqlite,sqlite数据库是单线程操作的,那么当N多个Thread同时调用的时候,可能报这错误.这也就

在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案[转]

在SQL 2005中用T-SQL插入中文数据时出现的问号或乱码的解决方案 病症表现为:主要表现为用T-sql语句插入中文数据时数据库显示全是问号"???" 解决办法: 第一种办法:先选中出错的数据库→选中以后右键点击属性会弹出数据库属性 对话框→选中数据库属性对话框中的选项→把选项中的排序规则设置成:Chinese_PRC_90_CI_AS→最后点击确定即可.(注意:在选择数据库属性的时候必须确保你所修改的数据库未被使用才可以修改否则会失败的) 第二种办法:首先打开你的sql查询分析器

请问mysql导入数据时,文件名可以用正则表达吗?

问题描述 请问mysql导入数据时,文件名可以用正则表达吗? 我现在有很多iis产生的log文件,想要每天自动导入前一天的log日志到 mysql数据库,现在我只能通过load data local infile '/tmp/ex150801.log'手动导前一天的数据. 如果我要排job自动导出该怎么做? 解决方案 写一个程序定时去跑比较简单,而且灵活. 解决方案二: 用脚本等命令行去调用mysqlimport命令等去加载文件导入数据吧.LOAD DATA语法应该不支持正则

mfc sqlite-mfc用w32sqlite插入数据时老是提示SQLITE_ERROR

问题描述 mfc用w32sqlite插入数据时老是提示SQLITE_ERROR mfc用w32sqlite插入数据时老是提示SQLITE_ERROR if(!isopendb){ isopendb=sqlite.Open(_T(""C:Usersdb"")); } sqlite.DirectStatement(sqlstr1); sqlite.DirectStatement(sqlstr2); sqlite.DirectStatement(sqlstr3); sql

导入-Java从excel读取数据时,能够自己选择excel文件,不用在代码中将文件目录写死!

问题描述 Java从excel读取数据时,能够自己选择excel文件,不用在代码中将文件目录写死! 项目是进行单机版和网络版的数据对比,需要将单机版导出来的数据(excel表格,固定格式)导入网络版进行对比,网络版在导入数据时能提示选择导入的excel文件,不用在Java代码中将要读取数据的excel表格的目录写死.谢谢您的帮助! 解决方案 JAVA读取EXCEL用的比较多的是POI类库,参考Java对Excel(0307)进行上传.解析.验证.入库,或者你搜索一下java poi,有很多文章的

实现删除主表数据时, 判断与之关联的外键表是否有数据

问题描述:某个基础信息表,与系统中30多个表存在外键关系,当删除基础数据时,需要判断是否已经被用过,如果用过则更改标志位,如果没有用过则直接删除,如何能很好实现这个处理?最好能够自动适应表的变化 问题解决(SQL Server 2005)-- SQL Server 2005的错误处理容易控制, 因此, SQL Server 2005中可以直接删除, 通过错误处理来确定是否需要更新. -- 示例如下.USE tempdbGO CREATE TABLE m(    id int PRIMARY KE

Excel输入新数据时图表自动更新

我有一朋友,是做销售的.他利用Excel图表来记录每天的销售成绩.那天,他打来电话问了这样一个 问题:用Excel来记录每天的销售非常的方便,能够直观地表示出每天的销售成绩,但是因为每天都有新 的数据,所以我不得不每天手动更改图表来使其包含新的数据.有没有一种方法可以让我输入新的数据时 ,图表能自动更新.下面的方法将为他来解决这个问题. 在Excel 97及以后版本中,当选中一个图表数据系列时,工作表中与该数据系列对应的数据区域周围 就会出现边框,这时可以通过简单地拖拽区域边框的角点来扩展数据区