开源备份工具duplicity支持阿里云OSS后端存储

duplicity简介

duplicity是一款开源的备份工具,使用librsync高效地支持增量备份,节约本地存储空间,同时使用GnuPG加密数据。duplicity能将数据轻松的备份到本地或远端文件共享存储,同时支持各类云存储。

不过官方版本并没有支持阿里云作为后端存储,最近用oss最新的Python SDK oss2支持了duplicity上传阿里云OSS,先实现了一个简单的版本,在本文附件中可以下载到集成了aliyunbackend的duplicity安装包。

适用场景

  • 重要文档数据的打包备份,远端容灾
  • 个人linux主机的系统数据备份
  • 自建webserver的数据日常和增量备份

使用步骤

安装

确认python版本 > 2.7,
安装依赖:

pip install oss2  #oss python sdk
pip install lockfile

下载附件安装包并解压安装:

tar zxvf duplicity.tar.gz
cd duplicity
python setup.py install

配置阿里云OSS账号AK

首先确认在阿里云控制台开通了OSS服务,并且获取access id/key;

export ALIYUN_OSS_ENDPOINT="aliyun_oss_endpoint"
export ALIYUN_ACCESS_ID="aliyun_access_id"
export ALIYUN_ACCESS_KEY="aliyun_access_key"

执行

  • 全量不加密备份
duplicity full --no-encryption backup-src-dir oss+http://oss_backup_bucket_name
  • 列出备份目录列表
duplicity list-current-files --no-encryption oss+http://oss_backup_bucket_name
  • 恢复备份目录中的单个文件
duplicity restore --file-to-restore 1.file --no-encryption oss+http://oss_backup_bucket_name /tmp/1.restore.file

演示

通过duplicity备份后的文件,可以在阿里云oss控制台查看bucket下object:

时间: 2025-01-20 09:49:03

开源备份工具duplicity支持阿里云OSS后端存储的相关文章

Synology®新增支持阿里云OSS对象存储

群晖科技Synology与阿里云合作在群晖Cloud Sync套件新增支持阿里云OSS对象存储,让用户可以将NAS数据备份至阿里云OSS上,或是将阿里云OSS的数据存储到本地NAS,快速打造异地备份解决方案. 数据意外事故频传,无论是勒索病毒.天灾.硬件损坏或是人为误操作,都可能造成数据丢失或服务中断.根据国外机构IT Policy Compliance Group报告指出,全球每年有近百万的企业因为数据丢失而破产,平均每丢失一个客户记录就会造成100美元的损失.看准企业对数据保护的需求,群晖宣

Hadoop社区支持阿里云OSS 云计算与开源融合的新里程碑

记者从全球著名的开源软件社区Hadoop社区获悉,Hadoop支持阿里云的OSS对象存储文件系统,这是Hadoop第一次支持中国云计算服务商的对象存储文件系统.这意味着全球用户在使用Hadoop这一开源软件时,都可以无缝连接阿里云的OSS对象存储文件系统.这是继Docker支持阿里云存储以后,又一个更重大的里程碑. OSS进入Hadoop社区后,意味着全球所有的Hadoop(HDFS)生态的离线,交互,数据仓库,深度学习等程序在不需要修改代码的情况下,自由读取和写入OSS对象存储,也提升了Had

国内首家 Docker新增支持阿里云OSS

近年来,开源的容器应用引擎Docker在企业IT市场中风生水起,短短两年内,建立在Docker容器软件内的应用被下载5.35亿次.全球约有400万人在使用Docker,约有150,000个在线应用靠Docker容器运行,大型企业正在空前快速地测试或计划采用Docker,胜过其他任何开源的云端产品. 8月12日,Docker1.8和Docker Registry 2.1发布,新版本中加入了Docker Registry对阿里云开放存储服务的正式支持,阿里云成为被Docker官方支持的存储服务的云服

Tachyon 已支持阿里云 OSS,正式改名 Alluxio

近日,人气很火的开源分布式虚拟存储系统 Tachyon 正式更名为 Alluxio,并发布了1.0版本.新的版本新增支持任意存储系统如阿里云对象存储 OSS.Amazon S3.OpenStack Swift 等. 据阿里云高级技术专家罗李介绍,阿里云为 Alluxio 社区提供了基于对象存储 OSS 的 UnderFileSystem 的支持,让存储在 Alluxio 内存文件系统中的数据可以使用 OSS 对象存储服务来作为持久化存储介质和数据交换平台. 此 前,Alluxio 用户遇到了无法

自动备份db数据到阿里云OSS例子

运维的都知道,最怕就是数据丢失,其它故障什么都好说,数据没了,那可是要死人的,所以DBA这个岗位在公司都比较重视(可惜我不是),当然薪水也不错,一个合格的DBA要做的事很多,远不止只做数据备份恢复工作(数据备份恢复是最基本基本的了),像调优,数据库设计什么的也都需要参与,甚至在项目立项时就要介入了. 前面说了那么多关于DBA的事,就是简单跟大家铺垫下,告诉大家数据对公司或个人来讲是多么的重要,那既然重要,我们就要备份好它,一般做法都是数据库本机留一个备份,然后再异地备份一份,但是随着目前云成为大

阿里云OSS归档存储类型单价下调 45%

7月21日起,阿里云对象存储OSS归档存储类型(OSS Archive)存储单价下调45%,最短存储周期调整到60天,归档解冻(Restore)时间降低到1分钟以内,调整方案如下: 调整项 调整前 调整后 按量付费单价 0.06元/GB/月 0.033元/GB/月 最小存储周期 30天 60天 归档解冻时间 1~4小时 1分钟内 OSS有三种存储类型:标准存储类型 Standard.低频访问存储类型IA.归档存储类型Archive.OSS 归档存储类型(OSS Archive)适用于各类需要长期

Linux下将网站自动定时备份到阿里云OSS

一直以来,倡萌都过于依赖阿里云ECS的自动快照功能,的确,这个功能非常方便,也比较可靠,为我们备份网站提供了便利,所以在此前我都没有采用其他备份方式.昨天突然心血来潮,觉得应该给网站再进行备份,刚开始想备份到百度网盘,不过度娘的各种改版和功能下架,饶了一圈得到的是不再提供新建pcs api支持了,晕!好吧,网盘的各种不可靠啊,突然一想,那干脆就备份到阿里云OSS吧,反正自己用的阿里云服务器,走内网的话,速度很爽!   说干就干,但也没有什么经验啊,Google下,看到张戈朋友的文章<Python

阿里云oss挂载到linux本地文件系统

对象存储 OSS 阿里云对象存储服务 (OSS) 是一种高度可伸缩且安全可靠的云对象存储服务,让您可以存储.备份和归档大量数据.阿里云 OSS 是一种简单易用的服务,让您每秒能处理数百万请求,它还支持大数据.科学与财务分析以及媒体应用. 阿里云是一家全球性云对象存储提供商,让您可以随时随地以高度安全.经济实惠的方式存储.处理和访问数据.阿里云 OSS 为企业提供加密云存储,具有自动数据复制与故障转移功能及高达 99.9% 的服务可用性和数据可靠性,是容灾的理想选择. 对比 阿里云OSS : 好处

使用java开发阿里云OSS开放云存储服务

购买了阿里云后,我们发现一般ECS的存储空间都比较小,当然我们可以动态的扩展一些存储空间.但是作为开发者,我们在日常使用中需要一些更大的灵活性,因此就需要我们自己对OSS存储有一些自己的扩展.今天就为大家分享一下如何使用java来对接阿里云的OSS存储服务. OSS产品概述 阿里云对象存储服务(Object Storage Service,简称 OSS),是阿里云提供的海量.安全.低成本.高可靠的云存储服务.您可以通过调用 API,在任何应用.任何时间.任何地点上传和下载数据,也可以通过 Web