Gitlab.com 误删300G数据,备份失效后直播抢救过程

 

    “从删库到跑路”,这句程序员用来自嘲的话差点成为现实,所幸的是,这次删库的小哥没有跑路。

2月1日,著名的代码资源托管网站 Gitlab.com 的一位工程师在维护数据时不慎删除约 300GB 的数据,至发文时仍在恢复工作中。

据雷锋网(公众号:雷锋网)了解,此次事件发生在2月1日凌晨,肇事系统管理员彻夜加班工作,当他疲倦不堪地进行数据库维护时,不慎用 rm -rf 命令对 300GB 生产环境数据执行了删除操作,当他清醒过来按下 ctrl + c 来停止删除操作时,却只挽留了 4.5G 的数据,其余所有数据消失殆尽。

据外媒报道,此次数据丢失的并非仓库的数据,而是和仓库相关的 issue 以及合并请求操作。

按照常理,GitLab 应该会对这些数据进行有效备份,然而悲催的事情发生了,GitLab.com 号称的五重备份机制:

  • 常规备份(24小时一次)
  • 自动同步、LVM快照(24小时一次的)
  • Azure 备份(支队NFS启用,数据库无效)
  • S3 备份

五大备份方法全部出现问题。所幸的是,仍有一个“也许可行”的6小时前的数据备份,可能够抢救回来一部分数据。

至本文发布时,Gitlab 方面已经试图该方式来逐步恢复数据:

最后他们索性在 YouTube 上直播工程师恢复数据,围观者众多,甚是热闹:

对此,程序员们评价不一,有的觉得 Gitlab 也许用了假的备份,有的感慨开夜车应注意安全,有的吐槽运维加班苦,应该涨工资,甚至有不少网友觉得应该将2月1日设立为“世界备份日”。

最后附上直播简介中的部分问答内容:

* 谁干的?他(们)会被炒鱿鱼吗?
他(们)只是犯了个工作失误,不会被炒。

* 为什么数据恢复得这么慢?
因为机器的磁盘读写速度限制。

* 数据库一共多大?
310GB

* 恢复数据要多长时间?有没有预期?
至少要到 19 UTC (世界标准时间)

  

本文作者:谢幺

本文转自雷锋网禁止二次转载,原文链接

时间: 2025-01-05 18:09:03

Gitlab.com 误删300G数据,备份失效后直播抢救过程的相关文章

CAXA图文档数据备份及还原

  文档数据管理方式 图纸上传到图文档后,系统通过网线将保存到服务器中,并将其加密为"file_流水码.dat"的文件.这些文件只能通过登陆图文档系统进行浏览.编辑等. 1.文件上传到图文档后,会存放在服务器的"vaultcheckedin"文件夹下; 2.将图文档中的文件出库编辑,系统会从服务器拷贝一份到本地一个隐藏文件夹下; 3.文件发布后,系统会将其移动到"vaultRelease"文件夹下; 4.文件归档后,系统会将其移动到"v

数据备份5步解决中小企业信息安全之烦恼

http://www.aliyun.com/zixun/aggregation/14054.html">信息技术的发展以惊人的速度展现在IT环境中,云计算,大数据,虚拟化,双活技术等新的技术已经在完善发展.一定互联网,物联网,智能电脑,软件定义网络等都在不断的丰富网络环境.据悉由此产生的数据正在以高于之前几千倍的速度增长.信息行业的安全由系统硬件层转向应用安全.面向数据资源的转移,CIO们对信息安全的等级提出了新的要求,给信息安全带来了新的挑战和思路.据悉,中科同向作为容灾备份企业给中小企

Gitlab.com 误删数据,备份恢复失败已宕机 10 小时

GitLab.com 官方网站发布声明称由于其产品数据库问题导致的网站无法正常访问.据国外媒体报道称 Gitlab 网站疲惫的系统管理员深夜在进行数据库维护时,使用 rm -rf 删了300GB 生产环境数据.等到清醒过来紧急按下ctrl + c,只有4.5GB保留下来.然后恢复备份失败,网站已经宕了10个小时,现在还没恢复. 目前可以确认的是 Gitlab 的数据备份是无效的.报告称此次数据丢失并非仓库的数据,而是仓库相关的 issue 以及合并请求操作. GitLab.com 号称有五重备份

从Gitlab数据库被删看数据备份的重要性!

北京时间2017年2月1日,大年初五,GitLab 上了头条新闻,原因是删了数据库!从此次事件可以看出,数据库备份的重要性! 云中沙箱实验"RDS的数据备份和恢复",教您如何使用阿里云RDS来备份和恢复您的数据库! 云中沙箱,阿里云官方实验平台.网址:http://lab.aliyunedu.net   一.基本概念 阿里云关系型数据库(Relational Database Service,简称 RDS)是一种稳定可靠.可弹性伸缩的在线数据库服务.基于阿里云分布式文件系统和高性能存储

重视数据备份 恢复RAID5故障后丢失的数据

很多企业的网管都认为 RAID5很少出故障,即使出了故障,RAID5本身也有强大的容错能力,因此往往不太重视http://www.aliyun.com/zixun/aggregation/14344.html">数据备份.这就造成了RAID出现故障时就是大灾难.要知道天有不测风云,人有旦夕祸福,那么,在没有备份的情况下,如果RAID5出现故障,我们该如何恢复数据呢?本文将通过一个实例来讲解,如何恢复RAID5故障后丢失的数据. RAID5发生故障的原因可能有很多种,或者是RAID控制器故障

GitLab删库300G事故敲响警钟:如何寻求专业的数据保护机制?

2月2日,当我们依旧在享受春节假期的时候,却不知大洋彼岸的Gitlab经历了一次惨痛的运维事故. 一位操作员为解决一个恶意攻击的问题,在工作到深夜并极度疲劳的状态下,误删除了主数据库的数据!在这位操作员意识到问题并立刻终止了移除文件夹操作,但是已经太迟了--300GB的文件只剩下4.5GB. Gitlab随后试图通过可用的备份文件用于恢复生产环境时,他们发现,采用的五种备份方式居然鬼使神差地在这一刻都失效了!最终导致Gitlab.com 官方网站宕机长达十个小时. 虽然Gitlab最终挽回了部分

数据备份中可能出错的情况及解决办法

本文总结了数据库备份过程中所有可能出错的情况,大家可以参考以下. 如果你做DBA时间不长,对数据库的备份有些担心,希望能找到一种让你放心的备份方案,那么本文绝对适合你. 关于数据库的备份恢复原理,大家多少都比较熟悉了.但是,你目前做的数据库备份有多可靠?你可以安心睡觉了吗?如果答案是肯定的,那就不用多花时间看下文了,如果觉得还不够安心,总担心数据库哪一天坏了修不好,那么请接着看: 1.我有RAID,还需要做数据库备份吗?需要.有了RAID,万一部份磁盘损坏, 可以修复数据库,有的情况下数据库甚至

中小企业数据备份恢复解决方案

一体化的备份解决方案 快速的备份和恢复性能 极高的可靠性 业界领先的备份恢复技术 合成全备份 直接访问恢复技术 智能恢复 小颗粒精确恢复 断点续传便捷的操作和管理 配置简单:备份软件.虚拟磁带库组合 1.中小企业面临的挑战 目前中小企业的信息化进程不断加快,各种IT应用,例如OA.ERP.生产系统.电子商务等不断普及.企业对于数据的依赖性日益增强,对于快速发展中的中小企业来说,数据是企业的重要资产,是http://www.aliyun.com/zixun/aggregation/32730.ht

H3C中小企业数据备份恢复解决方案

一体化的备份解决方案 快速的备份和恢复性能 极高的可靠性 业界领先的备份恢复技术 合成全备份 直接访问恢复技术 智能恢复 小颗粒精确恢复 断点续传便捷的操作和管理 配置简单:备份软件.虚拟磁带库组合 1.中小企业面临的挑战 目前中小企业的信息化进程不断加快,各种IT应用,例如OA.ERP.生产系统.电子商务等不断普及.企业对于数据的依赖性日益增强,对于快速发展中的中小企业来说,数据是企业的重要资产,是http://www.aliyun.com/zixun/aggregation/32730.ht