add more restic helper scripts
This commit is contained in:
parent
0eb5699a8d
commit
8ab9c36366
75
roles/restic/files/restic-job.sh
Normal file
75
roles/restic/files/restic-job.sh
Normal file
@ -0,0 +1,75 @@
|
|||||||
|
#!/bin/bash
|
||||||
|
|
||||||
|
# Ansible managed
|
||||||
|
|
||||||
|
error_exit() {
|
||||||
|
printf "%s\n" "$1"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
|
||||||
|
RESTIC_ETC_PATH=${RESTIC_ETC_PATH:-/etc/restic}
|
||||||
|
RESTIC_PATH=${RESTIC_PATH:-/usr/local/bin/restic}
|
||||||
|
|
||||||
|
MAX_ATTEMPTS=60
|
||||||
|
NICE="ionice -c2 nice -n19"
|
||||||
|
JOB=$1
|
||||||
|
|
||||||
|
if [ -z "$JOB" ]; then
|
||||||
|
error_exit "job is missing"
|
||||||
|
fi
|
||||||
|
|
||||||
|
JOB_PATH="${RESTIC_ETC_PATH}/jobs/${JOB}"
|
||||||
|
JOB_ENV="${JOB_PATH}/env.sh"
|
||||||
|
|
||||||
|
if [ ! -r "$JOB_ENV" ]; then
|
||||||
|
error_exit "${JOB_ENV} does not exist"
|
||||||
|
fi
|
||||||
|
|
||||||
|
# shellcheck disable=SC1090
|
||||||
|
. "$JOB_ENV"
|
||||||
|
|
||||||
|
if [ -z "${REPO+x}" ]; then
|
||||||
|
error_exit "\$REPO is not set"
|
||||||
|
fi
|
||||||
|
|
||||||
|
REPO_PATH="${RESTIC_ETC_PATH}/repos/${REPO}"
|
||||||
|
REPO_ENV="${REPO_PATH}/env.sh"
|
||||||
|
|
||||||
|
if [ ! -r "$REPO_ENV" ]; then
|
||||||
|
error_exit "${REPO_ENV} does not exist"
|
||||||
|
fi
|
||||||
|
|
||||||
|
# shellcheck disable=SC1090
|
||||||
|
. "$REPO_ENV"
|
||||||
|
|
||||||
|
EXCLUDE_PATH="${JOB_PATH}/exclude.txt"
|
||||||
|
|
||||||
|
if [ -z "${PATHS+x}" ]; then
|
||||||
|
error_exit "\$PATHS is not set"
|
||||||
|
fi
|
||||||
|
|
||||||
|
counter=0
|
||||||
|
sleep=1
|
||||||
|
rc=1
|
||||||
|
|
||||||
|
until [ $counter -eq "$MAX_ATTEMPTS" ] || [ $rc -eq 0 ]; do
|
||||||
|
if [ -r "$EXCLUDE_PATH" ]; then
|
||||||
|
$NICE "$RESTIC_PATH" backup -q --exclude-file="${EXCLUDE_PATH}" "${PATHS}"
|
||||||
|
else
|
||||||
|
$NICE "$RESTIC_PATH" backup -q "${PATHS}"
|
||||||
|
fi
|
||||||
|
|
||||||
|
rc=$?
|
||||||
|
|
||||||
|
if [ $rc -ne 0 ]; then
|
||||||
|
sleep=$((counter * 5))
|
||||||
|
printf "sleeping for %d seconds (%d)\n" $sleep $counter
|
||||||
|
sleep $sleep
|
||||||
|
fi
|
||||||
|
|
||||||
|
(( counter++ ))
|
||||||
|
done
|
||||||
|
|
||||||
|
if [ $rc -ne 0 ] && [ $counter -eq "$MAX_ATTEMPTS" ]; then
|
||||||
|
printf "restic job timed out, exiting\n"
|
||||||
|
fi
|
30
roles/restic/files/restic-repo.sh
Normal file
30
roles/restic/files/restic-repo.sh
Normal file
@ -0,0 +1,30 @@
|
|||||||
|
#!/bin/bash
|
||||||
|
|
||||||
|
# Ansible managed
|
||||||
|
|
||||||
|
error_exit() {
|
||||||
|
printf "%s\n" "$1"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
|
||||||
|
RESTIC_ETC_PATH=${RESTIC_ETC_PATH:-/etc/restic}
|
||||||
|
RESTIC_PATH=${RESTIC_PATH:-/usr/local/bin/restic}
|
||||||
|
|
||||||
|
if [ $# -lt 2 ]; then
|
||||||
|
error_exit "missing arguments"
|
||||||
|
fi
|
||||||
|
|
||||||
|
REPO=$1
|
||||||
|
shift
|
||||||
|
|
||||||
|
REPO_PATH="${RESTIC_ETC_PATH}/repos/${REPO}"
|
||||||
|
REPO_ENV="${REPO_PATH}/env.sh"
|
||||||
|
|
||||||
|
if [ ! -r "$REPO_ENV" ]; then
|
||||||
|
error_exit "${REPO_ENV} does not exist"
|
||||||
|
fi
|
||||||
|
|
||||||
|
# shellcheck disable=SC1090
|
||||||
|
. "$REPO_ENV"
|
||||||
|
|
||||||
|
$RESTIC_PATH "$@"
|
68
roles/restic/files/restic-tidy.sh
Normal file
68
roles/restic/files/restic-tidy.sh
Normal file
@ -0,0 +1,68 @@
|
|||||||
|
#!/bin/bash
|
||||||
|
|
||||||
|
# {{ ansible_managed }}
|
||||||
|
|
||||||
|
error_exit() {
|
||||||
|
printf "%s\n" "$1"
|
||||||
|
exit 1
|
||||||
|
}
|
||||||
|
|
||||||
|
RESTIC_ETC_PATH=${RESTIC_ETC_PATH:-/etc/restic}
|
||||||
|
RESTIC_PATH=${RESTIC_PATH:-/usr/local/bin/restic}
|
||||||
|
|
||||||
|
MAX_ATTEMPTS=60
|
||||||
|
MAX_SLEEP=43200 # 12 hours
|
||||||
|
REPO=$1
|
||||||
|
|
||||||
|
if [ -z "$REPO" ]; then
|
||||||
|
error_exit "repo is missing"
|
||||||
|
fi
|
||||||
|
|
||||||
|
REPO_PATH="${RESTIC_ETC_PATH}/repos/${REPO}"
|
||||||
|
REPO_ENV="${REPO_PATH}/env.sh"
|
||||||
|
|
||||||
|
if [ ! -r "$REPO_ENV" ]; then
|
||||||
|
error_exit "${REPO_ENV} does not exist"
|
||||||
|
fi
|
||||||
|
|
||||||
|
# shellcheck disable=SC1090
|
||||||
|
. "$REPO_ENV"
|
||||||
|
|
||||||
|
KEEP_HOURLY=${KEEP_HOURLY:-24}
|
||||||
|
KEEP_DAILY=${KEEP_DAILY:-7}
|
||||||
|
KEEP_WEEKLY=${KEEP_WEEKLY:-5}
|
||||||
|
KEEP_MONTHLY=${KEEP_MONTHLY:-12}
|
||||||
|
KEEP_YEARLY=${KEEP_YEARLY:-10}
|
||||||
|
|
||||||
|
# initial sleep
|
||||||
|
sleep "$(((RANDOM % MAX_SLEEP) + 1))s"
|
||||||
|
|
||||||
|
counter=0
|
||||||
|
sleep=1
|
||||||
|
rc=1
|
||||||
|
|
||||||
|
until [ $counter -eq "$MAX_ATTEMPTS" ] || [ $rc -eq 0 ]; do
|
||||||
|
$RESTIC_PATH forget \
|
||||||
|
--quiet \
|
||||||
|
--host "$(hostname -f)" \
|
||||||
|
--keep-hourly "$KEEP_HOURLY" \
|
||||||
|
--keep-daily "$KEEP_DAILY" \
|
||||||
|
--keep-weekly "$KEEP_WEEKLY" \
|
||||||
|
--keep-monthly "$KEEP_MONTHLY" \
|
||||||
|
--keep-yearly "$KEEP_YEARLY" \
|
||||||
|
--prune
|
||||||
|
|
||||||
|
rc=$?
|
||||||
|
|
||||||
|
if [ $rc -ne 0 ]; then
|
||||||
|
sleep=$((counter * 5))
|
||||||
|
printf "sleeping for %d seconds (%d)\n" $sleep $counter
|
||||||
|
sleep $sleep
|
||||||
|
fi
|
||||||
|
|
||||||
|
(( counter++ ))
|
||||||
|
done
|
||||||
|
|
||||||
|
if [ $rc -ne 0 ] && [ $counter -eq "$MAX_ATTEMPTS" ]; then
|
||||||
|
printf "tidy timed out, exiting\n"
|
||||||
|
fi
|
@ -65,21 +65,17 @@
|
|||||||
- "{{ restic_etc_path }}/repos"
|
- "{{ restic_etc_path }}/repos"
|
||||||
- "{{ restic_etc_path }}/jobs"
|
- "{{ restic_etc_path }}/jobs"
|
||||||
|
|
||||||
- name: create restic job wrapper script
|
- name: copy restic helper scripts
|
||||||
template:
|
copy:
|
||||||
src: restic-job.sh.j2
|
src: "{{ item }}"
|
||||||
dest: "{{ restic_bin_path }}/restic-job"
|
dest: "{{ restic_bin_path }}/{{ item | basename | splitext | first }}"
|
||||||
owner: root
|
|
||||||
group: root
|
|
||||||
mode: 0755
|
|
||||||
|
|
||||||
- name: create restic tidy wrapper
|
|
||||||
template:
|
|
||||||
src: restic-tidy.sh.j2
|
|
||||||
dest: "{{ restic_bin_path }}/restic-tidy"
|
|
||||||
owner: root
|
owner: root
|
||||||
group: root
|
group: root
|
||||||
mode: 0755
|
mode: 0755
|
||||||
|
loop:
|
||||||
|
- restic-tidy.sh
|
||||||
|
- restic-repo.sh
|
||||||
|
- restic-job.sh
|
||||||
|
|
||||||
- name: manage repos
|
- name: manage repos
|
||||||
include: repo.yaml
|
include: repo.yaml
|
||||||
|
@ -36,6 +36,23 @@
|
|||||||
group: root
|
group: root
|
||||||
mode: 0400
|
mode: 0400
|
||||||
|
|
||||||
|
- name: symlink default repo
|
||||||
|
block:
|
||||||
|
- name: explicit default
|
||||||
|
file:
|
||||||
|
src: "{{ restic_etc_path }}/repos/{{ item.name }}"
|
||||||
|
dest: "{{ restic_etc_path }}/repos/default"
|
||||||
|
state: link
|
||||||
|
force: yes
|
||||||
|
when: item.default is defined and item.default == True
|
||||||
|
- name: implicit default
|
||||||
|
file:
|
||||||
|
src: "{{ restic_etc_path }}/repos/{{ item.name }}"
|
||||||
|
dest: "{{ restic_etc_path }}/repos/default"
|
||||||
|
state: link
|
||||||
|
force: yes
|
||||||
|
when: restic_repos | count == 1
|
||||||
|
|
||||||
- name: create cron
|
- name: create cron
|
||||||
cron:
|
cron:
|
||||||
name: "restic {{ item.name }} tidy"
|
name: "restic {{ item.name }} tidy"
|
||||||
|
@ -1,50 +0,0 @@
|
|||||||
#!/bin/bash
|
|
||||||
|
|
||||||
# {{ ansible_managed }}
|
|
||||||
|
|
||||||
error_exit() {
|
|
||||||
printf "%s\n" "$1"
|
|
||||||
exit 1
|
|
||||||
}
|
|
||||||
|
|
||||||
NICE="ionice -c2 nice -n19"
|
|
||||||
JOB=$1
|
|
||||||
|
|
||||||
if [ -z "$JOB" ]; then
|
|
||||||
error_exit "job is missing"
|
|
||||||
fi
|
|
||||||
|
|
||||||
RESTIC_ETC_PATH="{{ restic_etc_path }}"
|
|
||||||
JOB_PATH="${RESTIC_ETC_PATH}/jobs/${JOB}"
|
|
||||||
JOB_ENV="${JOB_PATH}/env.sh"
|
|
||||||
|
|
||||||
if [ ! -r "$JOB_ENV" ]; then
|
|
||||||
error_exit "${JOB_ENV} does not exist"
|
|
||||||
fi
|
|
||||||
|
|
||||||
. "$JOB_ENV"
|
|
||||||
|
|
||||||
if [ -z "${REPO+x}" ]; then
|
|
||||||
error_exit "\$REPO is not set"
|
|
||||||
fi
|
|
||||||
|
|
||||||
REPO_PATH="${RESTIC_ETC_PATH}/repos/${REPO}"
|
|
||||||
REPO_ENV="${REPO_PATH}/env.sh"
|
|
||||||
|
|
||||||
if [ ! -r "$REPO_ENV" ]; then
|
|
||||||
error_exit "${REPO_ENV} does not exist"
|
|
||||||
fi
|
|
||||||
|
|
||||||
. "$REPO_ENV"
|
|
||||||
|
|
||||||
EXCLUDE_PATH="${JOB_PATH}/exclude.txt"
|
|
||||||
|
|
||||||
if [ -z "${PATHS+x}" ]; then
|
|
||||||
error_exit "\$PATHS is not set"
|
|
||||||
fi
|
|
||||||
|
|
||||||
if [ -r "$EXCLUDE_PATH" ]; then
|
|
||||||
$NICE {{ restic_path }} backup -q --exclude-file="${EXCLUDE_PATH}" "${PATHS}"
|
|
||||||
else
|
|
||||||
$NICE {{ restic_path }} backup -q "${PATHS}"
|
|
||||||
fi
|
|
@ -1,59 +0,0 @@
|
|||||||
#!/bin/bash
|
|
||||||
|
|
||||||
# {{ ansible_managed }}
|
|
||||||
|
|
||||||
error_exit() {
|
|
||||||
printf "%s\n" "$1"
|
|
||||||
exit 1
|
|
||||||
}
|
|
||||||
|
|
||||||
MAX_ATTEMPTS=60
|
|
||||||
REPO=$1
|
|
||||||
|
|
||||||
if [ -z "$REPO" ]; then
|
|
||||||
error_exit "repo is missing"
|
|
||||||
fi
|
|
||||||
|
|
||||||
RESTIC_ETC_PATH="{{ restic_etc_path }}"
|
|
||||||
REPO_PATH="${RESTIC_ETC_PATH}/repos/${REPO}"
|
|
||||||
REPO_ENV="${REPO_PATH}/env.sh"
|
|
||||||
|
|
||||||
if [ ! -r "$REPO_ENV" ]; then
|
|
||||||
error_exit "${REPO_ENV} does not exist"
|
|
||||||
fi
|
|
||||||
|
|
||||||
. "$REPO_ENV"
|
|
||||||
|
|
||||||
KEEP_DAILY=${KEEP_DAILY:-7}
|
|
||||||
KEEP_WEEKLY=${KEEP_WEEKLY:-5}
|
|
||||||
KEEP_MONTHLY=${KEEP_MONTHLY:-12}
|
|
||||||
KEEP_YEARLY=${KEEP_YEARLY:-10}
|
|
||||||
|
|
||||||
counter=0
|
|
||||||
sleep=1
|
|
||||||
rc=1
|
|
||||||
|
|
||||||
until [ $counter -eq $MAX_ATTEMPTS ] || [ $rc -eq 0 ]; do
|
|
||||||
{{ restic_path }} forget \
|
|
||||||
--quiet \
|
|
||||||
--host $(hostname -f) \
|
|
||||||
--keep-daily "$KEEP_DAILY" \
|
|
||||||
--keep-weekly "$KEEP_WEEKLY" \
|
|
||||||
--keep-monthly "$KEEP_MONTHLY" \
|
|
||||||
--keep-yearly "$KEEP_YEARLY" \
|
|
||||||
--prune
|
|
||||||
|
|
||||||
rc=$?
|
|
||||||
|
|
||||||
if [ $rc -ne 0 ]; then
|
|
||||||
sleep=$((counter * 5))
|
|
||||||
printf "sleeping for %d seconds (%d)\n" $sleep $counter
|
|
||||||
sleep $sleep
|
|
||||||
fi
|
|
||||||
|
|
||||||
let counter+=1
|
|
||||||
done
|
|
||||||
|
|
||||||
if [ $rc -ne 0 ] && [ $counter -eq $MAX_ATTEMPTS ]; then
|
|
||||||
printf "tidy timed out, exiting\n"
|
|
||||||
fi
|
|
Loading…
Reference in New Issue
Block a user