bacap

   1 #!/bin/bash
   2
   3 #_INCLUDE_START_
   4 # Default config values
   5
   6 # Be verbose
   7 VERBOSE=1
   8
   9 # Be extra verbose
  10 DEBUG=0
  11
  12 # Don't actually do anything, just print the commands
  13 DRY_RUN=0
  14
  15 # Force synchronization, even when the target already exist
  16 FORCE_SYNC=0
  17
  18 # Log file (if empty, print to stdout/err)
  19 LOG_FILE=
  20
  21 # Where to find the configuration of the hosts to backup
  22 CONFIG_PATH=/etc/bacap/hosts
  23
  24 # Name of the local host (so no ssh would be used with this host)
  25 LOCALHOST=$HOSTNAME
  26
  27 # Where to put the backups
  28 BACKUP_PATH=/backup
  29
  30 # Date format used for backed up directories (passed to the date command)
  31 DATE_FMT="%Y-%m-%d"
  32
  33 # Ping remote hosts to check if they are up (set to 0 if your hosts don't
  34 # reply to ICMP pings).
  35 PING_CHECK=1
  36
  37 # rsync flags to use
  38 RSYNC_FLAGS="-aAHSXx --numeric-ids"
  39
  40 # rsync flags to use when in verbose mode
  41 RSYNC_VERBOSE_FLAGS="-v --stats"
  42
  43 # rsync remote shell to use
  44 RSYNC_RSH="ssh"
  45
  46 #_INCLUDE_END_
  47
  48 SCRIPT_DIR=$(dirname `readlink -f $0`)
  49 BACAPRC=$1
  50
  51 # Load configuration files
  52 load_config() {
  53         extra_config=$1
  54         source "/etc/bacaprc" 2> /dev/null
  55         source "/etc/bacap/bacaprc" 2> /dev/null
  56         source "$SCRIPT_DIR/bacaprc" 2> /dev/null
  57         test -n "$BACAPRC" && source "$BACAPRC"
  58         test -n "$extra_config" && source "$1" 2> /dev/null
  59
  60         run=
  61         [ $DRY_RUN -eq 1 ] &&
  62                 run=echo
  63         [ $VERBOSE -eq 1 ] &&
  64                 RSYNC_FLAGS="$RSYNC_FLAGS $RSYNC_VERBOSE_FLAGS"
  65         [ $DEBUG -eq 1 ] &&
  66                 V=-v
  67         exec 3>&2
  68         [ -n "$LOG_FILE" ] &&
  69                 exec 1>>"$LOG_FILE" &&
  70                 exec 2>>"$LOG_FILE"
  71
  72         export RSYNC_RSH
  73 }
  74
  75 error() {
  76         echo "$@" >&3
  77 }
  78
  79 log() {
  80         [ $VERBOSE -eq 1 ] &&
  81                 echo "$@"
  82 }
  83
  84 logerr() {
  85         echo "$@" >&2
  86 }
  87
  88 ping_host() {
  89         ping -c1 "$1" > /dev/null 2>&1
  90 }
  91
  92 date=`date "+$DATE_FMT"`
  93 log
  94 log
  95 log "========================================================================="
  96 log "Starting backup for $date at `date '+%Y-%m-%d %H:%M:%S'`"
  97 log "========================================================================="
  98 ret=0
  99 for host_path in "$CONFIG_PATH"/*
 100 do
 101         saved_ret=$ret
 102         # Load default config and override config if correspond
 103         load_config "$host_path/bacaprc"
 104         host=`basename "$host_path"`
 105         host_backup_path="$BACKUP_PATH/$host"
 106         mkdir -p $host_backup_path
 107         dst="$BACKUP_PATH/$host/$date"
 108         src=`cat "$host_path/paths"`
 109         [ "$host" != "$LOCALHOST" ] &&
 110                 src=`awk "{print \"$host:\"\\$1}" "$host_path/paths"`
 111         exclude="$host_path/excludes"
 112         include="$host_path/includes"
 113         current_link="$host_backup_path/current"
 114         current_dir="$host_backup_path/`readlink \"$current_link\"`"
 115         extra_flags=
 116         log "-----------------------------------------------------------------"
 117         log "Backup for host $host started at `date '+%Y-%m-%d %H:%M:%S'`"
 118         log "-----------------------------------------------------------------"
 119         log "Source:      $src"
 120         log "Destination: $dst"
 121         log "Last:        $current_dir"
 122         log
 123         [ -d "$dst" ] && [ "$FORCE_SYNC" -ne 1 ] &&
 124                 logerr "$dst already exists, skipping..." &&
 125                 continue
 126         [ "$PING_CHECK" -eq 1 ] && ! ping_host $host &&
 127                 logerr "$host is down, skipping..." &&
 128                 continue
 129         [ -r "$exclude" ] &&
 130                 extra_flags="--exclude-from=$exclude"
 131         [ -r "$include" ] &&
 132                 extra_flags="$extra_flags --include-from=$include"
 133         log "Running rsync..."
 134         $run rsync $RSYNC_FLAGS $extra_flags \
 135                                 --link-dest="$current_dir" $src "$dst/"
 136         rsync_ret=$?
 137         case $rsync_ret in
 138                 0)
 139                         # Normal return
 140                         ;;
 141                 24)
 142                         # Ignore error 24 from rsync ("Partial transfer due to
 143                         # vanished source files") which is somewhat expected
 144                         # since we don't do a snapshot
 145                         ;;
 146                 *)
 147                         # Any other error is important enough
 148                         ret=$(($ret+1))
 149                         ;;
 150         esac
 151
 152         if [ $ret -eq $saved_ret ]
 153         then
 154                 # Only move current if rsync did not fail, to avoid dangling
 155                 # symlinks
 156                 log "Moving current..."
 157                 $run rm -f $V "$current_link" ||
 158                 ret=$(($ret+1))
 159                 $run ln -s $V "$date" "$current_link" ||
 160                 ret=$(($ret+1))
 161         else
 162                 ERROR_HOSTS="$ERROR_HOSTS $host"
 163         fi
 164 done
 165
 166 log "========================================================================="
 167 log "Backup for $date finished at `date '+%Y-%m-%d %H:%M:%S'`"
 168 log "========================================================================="
 169
 170 if [ $ret -ne 0 ]
 171 then
 172         error
 173         error "There were some errors when running the backup on: $ERROR_HOSTS"
 174         error
 175         if [ -n "$LOG_FILE" ]
 176         then
 177                 error "Please take a look at the log: $LOG_FILE"
 178                 error
 179         fi
 180 fi
 181
 182 exit $ret
 183