自动备份db数据到阿里云OSS例子

运维的都知道,最怕就是数据丢失,其它故障什么都好说,数据没了,那可是要死人的,所以DBA这个岗位在公司都比较重视(可惜我不是),当然薪水也不错,一个合格的DBA要做的事很多,远不止只做数据备份恢复工作(数据备份恢复是最基本基本的了),像调优,数据库设计什么的也都需要参与,甚至在项目立项时就要介入了。

前面说了那么多关于DBA的事,就是简单跟大家铺垫下,告诉大家数据对公司或个人来讲是多么的重要,那既然重要,我们就要备份好它,一般做法都是数据库本机留一个备份,然后再异地备份一份,但是随着目前云成为大家选择的主流,数据备份方式也因此发生了改变,今天我们就讲下如何将数据库备份到阿里云的OSS上,你要问为什么选择OSS,因为OSS阿里承诺数据安全性是99.999999999%, 按阿里工程师的说法,放到OOS上的数据,永远不用担心丢失的问题,其实跟AWS的S3类似,如果要问S3是啥,好吧,给你条捷径,请参看我之前的文章,我有对亚马逊的S3详细介绍。

经过前两段介绍,大家对数据重要性都有了一个认识,我们废话不多说,直接进入正题,我先介绍下环境和准备工作:

1、阿里云的1台云主机,上面有要备份的数据库(我的是mysql),今天我们任务就是把数据库备份到OSS上。

2、登录阿里云控制台,点解最上面导航栏中accesskey选项,获取accessKeyId 和accessKeySecret。

3、准备好数据库备份脚本

4、下载阿里云OSS的SDK,https://docs.aliyun.com/#/pub/oss/sdk/python-sdk&preface

 

万事俱备,只欠行动了,go,go,go!!

第一步:将我们数据库备份到某目录下,注明时间:

运行备份脚本(注意在备份目录下,我的在/home/dbback/下)

#!/bin/sh
 
BAKDATE=`date +%Y%m%d`
mysqldump -f -hlocalhost --default-character-set=utf8  --single-transaction -q   -R --triggers -B dbname | gzip > dbname$BAKDATE.sql.gz

查看目录是否生成备份文件,心细的兄弟可能发现我这个mysqldump没有指定用户名和密码,为啥我运行的时候费用输入密码呢?莫着急,马上为你揭晓答案,因为mysql5.6后(具体版本编号不记得了),如果你把密码写到脚本里,运行会有警告,告诉你不要把密码写到脚本里,会有危险,那我的小伙伴该怎么办呢,官方给了解决方案,期望你是配置到my.cnf文件中,所以,现在打开你的my.cnf,加入如下字段:
[mysqldump]
user=your user
password=your password

有了以上这两条,运行脚本时就不会在提示要输入密码了,马上测试下,看是否成功,如果没问题,我们进入下一步。
第二步:如何自动备份到oss中,开始前我们要做两件事,

1、登录阿里云控制台,点右上“管理控制台”,然后点左上“产品与服务”,在第二列中点击“对象存储OSS”,如果没开通就要开通,如果开通了直接点击右上的“新建bucket”,来创建一个bucket,记住buket的名字。(注:其实通过api也是可以直接创建bucket的,因为这个操作不多,所以我就用控制台来创建了,降低理解的难度。)

2、开始写上传脚本,因为要导入oss的sdk,所以要下安装下,比较简单,跟安装其他python包没啥区别,解压进入目录,然后运行python setup.py install 就安装完毕了,接下来看我们如何使用它,全部代码如下:

#!/usr/bin/python env
 
#autor:glacier
#date:2015-11-16
 
import os,os.path,time
import operator
import time
from oss.oss_api import *
 
prefix = '/home/dbback'
logtime = time.strftime(time.ctime())
#filelist = [ file for file in os.listdir(os.path.dirname(os.path.abspath(__file__))) if os.path.isfile(file) ]
filelist = [ file for file in os.listdir(prefix) if os.path.isfile(prefix + '/' + file) ]
 
 
def get_time(filename):
    ft = os.stat(filename)
    return ft.st_ctime
 
#def get_max():
#    flist = []
#    for file in filelist:
#        flist.append(os.stat(file).st_ctime)
#    return max(flist)
 
def get_dist():
    d = {}
    for file in filelist:
        d[file] = get_time(prefix + '/' + file)
    return d
 
if __name__ == '__main__':
    #maxtime = get_max()
    d = get_dist()
    #dic= sorted(d.iteritems(), key=lambda d:d[1], reverse = True)
    upfile = max(d.iteritemspython运维技术(gh_f3f87778cda3)

时间: 2024-09-19 20:38:55

自动备份db数据到阿里云OSS例子的相关文章

开源备份工具duplicity支持阿里云OSS后端存储

duplicity简介 duplicity是一款开源的备份工具,使用librsync高效地支持增量备份,节约本地存储空间,同时使用GnuPG加密数据.duplicity能将数据轻松的备份到本地或远端文件共享存储,同时支持各类云存储. 不过官方版本并没有支持阿里云作为后端存储,最近用oss最新的Python SDK oss2支持了duplicity上传阿里云OSS,先实现了一个简单的版本,在本文附件中可以下载到集成了aliyunbackend的duplicity安装包. 适用场景 重要文档数据的打

如何自动备份公司数据到云存储

背景 做过运维的都知道,最怕就是数据丢失,其它故障什么都好说,数据没了,那可是要死人的,所以DBA这个岗位在公司都比较重视,当然薪水也不错,一个合格的DBA要做的事很多,远不止只做数据备份恢复工作(数据备份恢复是最基本基本的了),像调优.数据库设计什么的也都需要参与,甚至在项目立项时就要介入了. 之所以说了那么多关于DBA的事,就是简单跟大家铺垫下,告诉大家数据对公司或个人来讲是多么的重要,那既然重要,我们就要备份好它,一般做法都是数据库本机留一个备份,然后再异地备份一份,但是随着目前云成为大家

阿里云oss挂载到linux本地文件系统

对象存储 OSS 阿里云对象存储服务 (OSS) 是一种高度可伸缩且安全可靠的云对象存储服务,让您可以存储.备份和归档大量数据.阿里云 OSS 是一种简单易用的服务,让您每秒能处理数百万请求,它还支持大数据.科学与财务分析以及媒体应用. 阿里云是一家全球性云对象存储提供商,让您可以随时随地以高度安全.经济实惠的方式存储.处理和访问数据.阿里云 OSS 为企业提供加密云存储,具有自动数据复制与故障转移功能及高达 99.9% 的服务可用性和数据可靠性,是容灾的理想选择. 对比 阿里云OSS : 好处

Linux下将网站自动定时备份到阿里云OSS

一直以来,倡萌都过于依赖阿里云ECS的自动快照功能,的确,这个功能非常方便,也比较可靠,为我们备份网站提供了便利,所以在此前我都没有采用其他备份方式.昨天突然心血来潮,觉得应该给网站再进行备份,刚开始想备份到百度网盘,不过度娘的各种改版和功能下架,饶了一圈得到的是不再提供新建pcs api支持了,晕!好吧,网盘的各种不可靠啊,突然一想,那干脆就备份到阿里云OSS吧,反正自己用的阿里云服务器,走内网的话,速度很爽!   说干就干,但也没有什么经验啊,Google下,看到张戈朋友的文章<Python

国内首家 Docker新增支持阿里云OSS

近年来,开源的容器应用引擎Docker在企业IT市场中风生水起,短短两年内,建立在Docker容器软件内的应用被下载5.35亿次.全球约有400万人在使用Docker,约有150,000个在线应用靠Docker容器运行,大型企业正在空前快速地测试或计划采用Docker,胜过其他任何开源的云端产品. 8月12日,Docker1.8和Docker Registry 2.1发布,新版本中加入了Docker Registry对阿里云开放存储服务的正式支持,阿里云成为被Docker官方支持的存储服务的云服

Synology®新增支持阿里云OSS对象存储

群晖科技Synology与阿里云合作在群晖Cloud Sync套件新增支持阿里云OSS对象存储,让用户可以将NAS数据备份至阿里云OSS上,或是将阿里云OSS的数据存储到本地NAS,快速打造异地备份解决方案. 数据意外事故频传,无论是勒索病毒.天灾.硬件损坏或是人为误操作,都可能造成数据丢失或服务中断.根据国外机构IT Policy Compliance Group报告指出,全球每年有近百万的企业因为数据丢失而破产,平均每丢失一个客户记录就会造成100美元的损失.看准企业对数据保护的需求,群晖宣

使用java开发阿里云OSS开放云存储服务

购买了阿里云后,我们发现一般ECS的存储空间都比较小,当然我们可以动态的扩展一些存储空间.但是作为开发者,我们在日常使用中需要一些更大的灵活性,因此就需要我们自己对OSS存储有一些自己的扩展.今天就为大家分享一下如何使用java来对接阿里云的OSS存储服务. OSS产品概述 阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量.安全.低成本.高可靠的云存储服务.您可以通过调用 API,在任何应用.任何时间.任何地点上传和下载数据,也可以通过 Web

php版阿里云OSS图片上传类详解_php技巧

本文实例讲述了php版阿里云OSS图片上传类.分享给大家供大家参考,具体如下: 1.阿里云基本函数 /** * 把本地变量的内容到文件 * 简单上传,上传指定变量的内存值作为object的内容 */ public function putObject($imgPath,$object) { $content = file_get_contents($imgPath); // 把当前文件的内容获取到传入文件中 $options = array(); try { $this->ossClient->

阿里云OSS上保存备份文件操作过程

阿里云OSS(Object Storage Service)是对象存储服务,可制作静态网站或者存放大量图片后通过CDN来加速等用途.而我使用阿里云OSS的目的是通过内网把OSS挂载到Linux系统并把数据库及网站程序的备份存放到性价比非常好的阿里云OSS上. 创建Access Key 购买OSS资源包 创建Bucket 安装OSSFS 在这里简单介绍一下,安装OSSFS及在Linux系统下挂载OSS的方法. 环境 CentOS6.5 64位 安装OOSFS # wget ps://github.