如何自动备份公司数据到云存储

背景

做过运维的都知道,最怕就是数据丢失,其它故障什么都好说,数据没了,那可是要死人的,所以DBA这个岗位在公司都比较重视,当然薪水也不错,一个合格的DBA要做的事很多,远不止只做数据备份恢复工作(数据备份恢复是最基本基本的了),像调优、数据库设计什么的也都需要参与,甚至在项目立项时就要介入了。

之所以说了那么多关于DBA的事,就是简单跟大家铺垫下,告诉大家数据对公司或个人来讲是多么的重要,那既然重要,我们就要备份好它,一般做法都是数据库本机留一个备份,然后再异地备份一份,但是随着目前云成为大家选择的主流,数据备份方式也因此发生了改变,今天我们就讲下如何将数据库备份到阿里云的OSS上,你要问为什么选择OSS?因为OSS提供三重备份,故障自动恢复能力,保障数据可靠性99.99999999%。也就是说放到OOS上的数据,永远不用担心丢失的问题。

环境和准备工作

  1. 阿里云的1台云主机,上面有要备份的数据库(我的是mysql),今天我们任务就是把数据库备份到OSS上;
  2. 登录阿里云控制台,点解最上面导航栏中accesskey选项,获取accessKeyId 和accessKeySecret;
  3. 准备好数据库备份脚本;
  4. 下载阿里云OSS的SDK,本文采用的是Python SDK,点击查看相关使用教程和下载地址。

具体操作步骤 

万事俱备,只欠行动了,go,go,go!!

第一步:将我们数据库备份到某目录下,注明时间: 

运行备份脚本(注意在备份目录下,我的在/home/dbback/下)

 

查看目录是否生成备份文件,心细的同学可能发现我这个mysqldump没有指定用户名和密码,为啥我运行的时候费用输入密码呢?莫着急,马上为你揭晓答案,因为mysql5.6后(具体版本编号不记得了),如果你把密码写到脚本里,运行会有警告,告诉你不要把密码写到脚本里,会有危险,那我的小伙伴该怎么办呢,官方给了解决方案,期望你是配置到my.cnf文件中,所以,现在打开你的my.cnf,加入如下字段:

有了以上这两条,运行脚本时就不会在提示要输入密码了,马上测试下,看是否成功,如果没问题,我们进入下一步。

第二步:如何自动备份到oss中,开始前我们要做两件事:

1、登录阿里云控制台,点右上“管理控制台”,然后点左上“产品与服务”,在第二列中点击“对象存储OSS”,如果没开通就要开通,如果开通了直接点击右上的“新建bucket”,来创建一个bucket,记住buket的名字。(注:其实通过api也是可以直接创建bucket的,因为这个操作不多,所以我就用控制台来创建了,降低理解的难度。) 

2、开始写上传脚本,因为要导入oss的sdk,所以要下安装下,比较简单,跟安装其他python包没啥区别,解压进入目录,然后运行python setup.py install 就安装完毕了,接下来看我们如何使用它,全部代码如下:

#!/usr/bin/python env
#autor:glacier
#date:2015-11-16
import os,os.path,time
import operator
import time
from oss.oss_api import *
prefix = '/home/dbback'
logtime = time.strftime(time.ctime())
#filelist = [ file for file in os.listdir(os.path.dirname(os.path.abspath(__file__))) if os.path.isfile(file) ]
filelist = [ file for file in os.listdir(prefix) if os.path.isfile(prefix + '/' + file) ]
def get_time(filename):
    ft = os.stat(filename)
    return ft.st_ctime
#def get_max():
#    flist = []
#    for file in filelist:
#        flist.append(os.stat(file).st_ctime)
#    return max(flist)
def get_dist():
    d = {}
    for file in filelist:
        d[file] = get_time(prefix + '/' + file)
    return d
if __name__ == '__main__':
    #maxtime = get_max()
    d = get_dist()
    #dic= sorted(d.iteritems(), key=lambda d:d[1], reverse = True)
    upfile = max(d.iteritems(), key=operator.itemgetter(1))[0]
    endpoint = "your aliyun endpoint"
    accessKeyId, accessKeySecret="your accessKeyId","your accessKeySecret "
    oss = OssAPI(endpoint, accessKeyId, accessKeySecret)
    res = oss.put_object_from_file("bucketname",upfile,prefix + '/' + upfile)
    if res.status != 200:
        with open('/var/log/dbback.log', 'a+') as f:
            f.write(logtime + ' back failed' + '\n') 

我们接下来分析下脚本内容,其中脚本中注释的行都不用看,是我编写过程中测试用的,最开始我们设定了备份文件的目录和记录日志的时间,然后生成了一个备份目录所有文件的列表(列表其实不是最好的方式,我是用最简单的方式了,因为文件多了,列表会慢),然后定义了两个函数,get_time()函数是获取文件的创建时间戳,get_dist()函数是获取文件名和时间戳的字典,主函数部分比较难理解的根据字典value排序获得文件名了,d.iteritems()获得字典中的每个key,value对,key指定了一个函数,operator.itemgetter(1)表示用value来排序(因为就两个元素,key 是0,value就是1了),就是时间戳,排序完后返回key,最后的[0]做了这个工作,脚本其它部分的内容我就不多说了,都是很常见的用法,没什么难于理解的,好,脚本就介绍到这里,接下来进入我们最后一步。

第三步:将脚本写入crontab中,具体什么时候执行,就根据大家各自业务不同来设置了,没什么特别的

相关链接:

关于本文更加详细介绍:http://www.mindg.cn/?p=555#rd

对象存储OSS产品的详细介绍:https://help.aliyun.com/product/8314910_31815.html

Python SDK使用文档:https://help.aliyun.com/document_detail/32026.html

时间: 2024-09-28 02:39:20

如何自动备份公司数据到云存储的相关文章

FTP自动备份网站数据

第一步 新建FTP备份任务 下载并运行<绿色FTP数据备份>点击"FTP备份"按钮,选择"新建FTP备份任务",会弹出参数设置菜单,而后设置网站服务器的FTP用户名和密码.如果是虚拟主机用户,就需要填写空间提供商提供的FTP账号密码;有自有服务器的用户则需要自己使用serv-u等程序新建一个FTP用户.在"域名或IP地址选项"中,可以填写已经绑定IP地址的域名,也可以直接设置服务器的Ip地址.参数填写完成后,点击"连接&qu

自动备份db数据到阿里云OSS例子

运维的都知道,最怕就是数据丢失,其它故障什么都好说,数据没了,那可是要死人的,所以DBA这个岗位在公司都比较重视(可惜我不是),当然薪水也不错,一个合格的DBA要做的事很多,远不止只做数据备份恢复工作(数据备份恢复是最基本基本的了),像调优,数据库设计什么的也都需要参与,甚至在项目立项时就要介入了. 前面说了那么多关于DBA的事,就是简单跟大家铺垫下,告诉大家数据对公司或个人来讲是多么的重要,那既然重要,我们就要备份好它,一般做法都是数据库本机留一个备份,然后再异地备份一份,但是随着目前云成为大

每天自动备份网站数据,发现问题一键恢复 ——阿里云虚拟主机推出网站数据自动备份功能

近日,阿里云宣布推出虚拟主机网站自动备份功能,可自动备份用户的网站和数据库数据至单独的备份区域,用户可随时恢复前三天的网站和数据库的数据.一旦出现意外或者数据丢失情况,可将损失降低到最低. 数据是用户的最重要的财产,网站数据一旦丢失,损失无法估量,而用户自行进行网站备份耗力耗时.阿里云特别推出了自动备份功能,降低在意外情况下数据丢失的风险,减小用户损失.十分适合对备份网站数据操作不熟悉,不具备相关技术的用户. 阿里云虚拟主机网站自动备份功能,一方面可以做到自动备份,每天自动备份用户的网站和数据库

如何自动备份网站数据和数据

背景 网站的数据就是网站的灵魂,可是数据总是会因为各种原因,如服务器损坏,人员误操作而丢失 ,站长们最需要的就是能及时备份自己的数据.对于win服务器下的自动数据备份,网站文件,自然是比较好备份的,那么如果数据库也可以自动备份,那就基本实现完美自动备份. 阿里云对象存储(Object Storage Service,简称OSS),是阿里云对外提供的海量,安全,低成本,高可靠的云存储服务.用户可以通过调用API,在任何应用.任何时间.任何地点上传和下载数据,也可以通过用户Web控制台对数据进行简单

教你利用网盘自动备份网站数据

中介交易 http://www.aliyun.com/zixun/aggregation/6858.html">SEO诊断 淘宝客 云主机 技术大厅 俗话说"空间有价,数据无价",网站的文件和数据是我们站长日夜辛苦的结晶,我们会像自己的孩子一样呵护它们.可以在日常生活中,会有很多因素造成网站数据丢失,比如:服务商跑路.空间到期.黑客入侵.文件误删等.网站数据的丢失,会给站长带来毁灭性的打击,因此网站数据的备份显得格外重要.虽然很多服务商提供了每日自动备份或者每周自动备份

改善易用体验 西部数据个人云存储全面升级

  你是否有过这样的体验,外出拍的照片越来越多,电脑已经装不下,只能一块一块的购买移动硬盘,但是管理照片很成问题,想找的影像文件不知道存到哪里了:或者有没处理完要带回家的文件,只能等待拷在U盘里带回家,一旦忘带就会误时误事.云盘一类的公有云是个不错的选择,但是总会偶尔遇到无法访问等问题,更可怕的是,一旦供应商停止服务,存在云上的数据也就不复存在了:更何况私密照片和机密文件你真的敢存在云盘网盘上吗? 11月19日,西部数据在北京举办了"全新云端体验 引领精彩生活"的新品发布会,全面升级M

如何让系统自动备份网站数据经验分享

重生以后给自己网站备份数据用了一个很土的办法,用到了WINRAR批处理备份的功能,希望给有些朋友能用的着. 我的服务器配置是windows2003+IIS+PHP+MYSQL5 首先服务器里需要装个WINRAR,在WINRAR安装目录下建立个批处理文件(gamefxp.bat)件内容为: echo net stop iisadmin /y net stop mysql winrar a -ag-YY.MM.DD d:\bak\gamefxp\gamefxpdata D:\mysql\data\g

讲解Linux系统下如何自动备份MySQL数据的基本教程_Mysql

1.先创建一个数据库备份目录: mkdir backup cd backup mkdir mysqlbackup cd mysqlbackup 2.创建备份脚本 vi mysqlautobackup 3.编写脚本: filename=`date +%Y%m%d` /mysql的bin目录/mysqldump --opt 数据库名 -u(mysql账号) -p(mysql密码) | gzip > /备份到哪个目录/name$filename.gz 说明:以上采用gzip压缩,name可随意写,注意

Ubuntu 每日技巧- 自动备份Ubuntu 14.04到Box云存储上

Ubuntu 每日技巧- 自动备份Ubuntu 14.04到Box云存储上 如今你已经升级或者安装了Ubuntu 14.04, 但是还有另外一件保护你的新系统需要做的事情:备份! Ubuntu内置了一个备份工具 Déjà Dup Backup Tool.它允许你备份你的系统并保存在本地或者通过不同的协议保存在远端服务器上. 还有许多其他的工具来备份你的Ubuntu计算机与文件.你可以通过Dropbox 客户端或者其他云服务来自动备份你的重要文档.你也有可能使用UbuntuOne来备份你的机器,但