百度360必应搜狗淘宝本站头条
当前位置:网站首页 > IT技术 > 正文

如何把 Docker Volumes 远程备份到 Amazon S3 ?

wptr33 2024-12-19 16:51 23 浏览

在容器化的世界里,Docker 已经成为使用容器创建、部署和运行应用程序的首选解决方案。但是,与任何数据驱动的应用程序一样,备份数据对于确保可以从任何不可预见的数据丢失或损坏中恢复至关重要。本文将指导您创建一个完美的 shell 脚本,该脚本不仅可以定期备份 Docker 卷,还可以将这些备份上传到 Amazon
S3 进行异地存储,并清理旧备份以节省空间。

Backup Shell Script

创建一个名为 docker volume backup.sh 的新文件,复制并粘贴下面的脚本。

#!/bin/bash

# Script Name: Docker Volume Backup Script
# Description: This script backs up Docker volumes, uploads them to Amazon S3, and cleans up old backups.
# Written by: Rahul Kumar
# Website: https://tecadmin.net
# Version: 1.0.1

# Configuration
BACKUP_PATH="/path/to/backup"
S3_BUCKET="s3://your-bucket-name/docker-volumes/"
MAX_BACKUPS=5 # The maximum number of backups to keep

# Create backup directory if not exists
mkdir -p "$BACKUP_PATH"

# Function to backup a Docker volume
backup_volume() {
    VOLUME_NAME=$1
    TIMESTAMP=$(date +"%Y%m%d-%H%M%S")
    BACKUP_NAME="${VOLUME_NAME}_${TIMESTAMP}.tar.gz"

    echo "Backing up Docker volume '$VOLUME_NAME' to $BACKUP_NAME"

    docker run --rm -v $VOLUME_NAME:/volume -v $BACKUP_PATH:/backup alpine \
    tar czf /backup/$BACKUP_NAME -C /volume ./

}

# Function to upload backups to s3
upload_to_s3() {
    BACKUP_FILE=$1
    echo "Uploading $BACKUP_FILE to S3"
    aws s3 cp $BACKUP_PATH/$BACKUP_FILE $S3_BUCKET/$BACKUP_FILE
}

# Function to remove older backups
cleanup_backups() {
    echo "Cleaning up old backups"
    BACKUPS=$(ls $BACKUP_PATH | wc -l)
    BACKUPS_TO_DELETE=$(($BACKUPS-$MAX_BACKUPS))

    if [ $BACKUPS_TO_DELETE -gt 0 ]; then
        ls -t $BACKUP_PATH | tail -$BACKUPS_TO_DELETE | while read BACKUP_FILE; do
            echo "Deleting old backup $BACKUP_FILE"
            rm $BACKUP_PATH/$BACKUP_FILE
        done
    fi
}


# Define your Docker volumes in an array
VOLUMES=("volume1" "volume2")

for VOLUME in "${VOLUMES[@]}"; do
    backup_volume "$VOLUME"
    upload_to_s3 "$BACKUP_NAME"
done

cleanup_backups

echo "Backup process completed."

定义本地备份目录、用于上传的 S3 桶路径以及要保留的最大备份数量

BACKUP_PATH="/path/to/backup"

指定存放 Docker 卷备份的本地目录路径。

S3_BUCKET="s3://your-bucket-name/docker-volumes/"

设置 Amazon S3 存储桶路径,包括存放 Docker 卷备份的具体目录。

MAX_BACKUPS=5

本地保留的 Docker 卷备份文件的最大数量。

VOLUMES=("volume1" "volume2")

定义要备份的所有 docker 卷,您可以使用 docker volume ls 命令查找卷列表。

Running Script Manually

为了确保脚本能够在计划任务中正确运行,请先手动执行它。首先给脚本添加可执行权限。

chmod +x docker_volume_backup.sh

手动执行脚本

./docker_volume_backup.sh

脚本运行后,请确认备份已在 $BACKUP PATH 指定的位置创建,并且也存在于指定的 S3 桶中。

Scheduling the Script with Crontab

在手动验证脚本之后,使用 crontab 设置自动运行。执行 crontab -e 添加一行,包含以下内容:

0  2   *   *   *     bash /path/to/docker_volume_backup.sh

脚本安排在每天凌晨 2:00 运行,根据需要调整时间以适应您的备份策略。

我的开源项目

  • course-tencent-cloud(酷瓜云课堂 - gitee 仓库)
  • course-tencent-cloud(酷瓜云课堂 - github 仓库)

相关推荐

redis的八种使用场景

前言:redis是我们工作开发中,经常要打交道的,下面对redis的使用场景做总结介绍也是对redis举报的功能做梳理。缓存Redis最常见的用途是作为缓存,用于加速应用程序的响应速度。...

基于Redis的3种分布式ID生成策略

在分布式系统设计中,全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进,传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。R...

基于OpenWrt系统路由器的模式切换与网页设计

摘要:目前商用WiFi路由器已应用到多个领域,商家通过给用户提供一个稳定免费WiFi热点达到吸引客户、提升服务的目标。传统路由器自带的Luci界面提供了工厂模式的Web界面,用户可通过该界面配置路...

这篇文章教你看明白 nginx-ingress 控制器

主机nginx一般nginx做主机反向代理(网关)有以下配置...

如何用redis实现注册中心

一句话总结使用Redis实现注册中心:服务注册...

爱可可老师24小时热门分享(2020.5.10)

No1.看自己以前写的代码是种什么体验?No2.DooM-chip!国外网友SylvainLefebvre自制的无CPU、无操作码、无指令计数器...No3.我认为CS学位可以更好,如...

Apportable:拯救程序员,IOS一秒变安卓

摘要:还在为了跨平台使用cocos2d-x吗,拯救objc程序员的奇葩来了,ApportableSDK:FreeAndroidsupportforcocos2d-iPhone。App...

JAVA实现超买超卖方案汇总,那个最适合你,一篇文章彻底讲透

以下是几种Java实现超买超卖问题的核心解决方案及代码示例,针对高并发场景下的库存扣减问题:方案一:Redis原子操作+Lua脚本(推荐)//使用Redis+Lua保证原子性publicbo...

3月26日更新 快速施法自动施法可独立设置

2016年3月26日DOTA2有一个79.6MB的更新主要是针对自动施法和快速施法的调整本来内容不多不少朋友都有自动施法和快速施法的困扰英文更新日志一些视觉BUG修复就不翻译了主要翻译自动施...

Redis 是如何提供服务的

在刚刚接触Redis的时候,最想要知道的是一个’setnameJhon’命令到达Redis服务器的时候,它是如何返回’OK’的?里面命令处理的流程如何,具体细节怎么样?你一定有问过自己...

lua _G、_VERSION使用

到这里我们已经把lua基础库中的函数介绍完了,除了函数外基础库中还有两个常量,一个是_G,另一个是_VERSION。_G是基础库本身,指向自己,这个变量很有意思,可以无限引用自己,最后得到的还是自己,...

China's top diplomat to chair third China-Pacific Island countries foreign ministers' meeting

BEIJING,May21(Xinhua)--ChineseForeignMinisterWangYi,alsoamemberofthePoliticalBureau...

移动工作交流工具Lua推出Insights数据分析产品

Lua是一个适用于各种职业人士的移动交流平台,它在今天推出了一项叫做Insights的全新功能。Insights是一个数据平台,客户可以在上面实时看到员工之间的交流情况,并分析这些情况对公司发展的影响...

Redis 7新武器:用Redis Stack实现向量搜索的极限压测

当传统关系型数据库还在为向量相似度搜索的性能挣扎时,Redis7的RedisStack...

Nginx/OpenResty详解,Nginx Lua编程,重定向与内部子请求

重定向与内部子请求Nginx的rewrite指令不仅可以在Nginx内部的server、location之间进行跳转,还可以进行外部链接的重定向。通过ngx_lua模块的Lua函数除了能实现Nginx...