Varmuuskopiointia

»Pessimistit ottaa backuppeja!»

Dump ja restore

Unixissa dump(8)/restore(8) pari on ollut suosittu datan varmistusmenetelmä jo putkiradioajoista lähtien. Dump nimensä mukaan dumppaa tiedostojärjestelmän kokonaisuudessaan tiedostoon, eikä poimi yksittäisiä tiedostoja kuten normaalisti tiedostoja varmistaessa tapana on. Dump-komennon ainoa heikkous FreeBSD:ssä lienee se, ettei se toimi luotettavasti journaloivalla UFS tiedostojärjestelmällä, johtuen dump komennon kyvyttömyydestä ottaa snapshot mikäli journal on käytössä. dump osaa kyllä dumpata mountatun UFS tiedostojärjestelmän sellaisenaan, mutta snapshot olisi tiedostojen eheyden kannalta ensiarvoisen tärkeää. Jos tiedostoja muutettaisiin kesken dumppaamisen olisi muuttuneiden tiedostojen sisältö dumpissa sekaisin ja hajallaan. Toisaalta journalista ei UFS:n tapauksessa saa juurikaan lisäarvoa paitsi tiedostojärjestelmän tarkistuksessa, koska tällöin ei koko tiedostojärjestelmää tarvitse fsck(8):lla käydä läpi. Kuitenkin palvelinkoneen tiedostojärjestelmät pitäisi aina tarkistaa kokoaisuudessaan koneen hallitsemattoman sammuttamisen jälkeen, joten journalin käyttämättä jättäminen saattaa olla jopa perusteltua. Joka tapauksessa journaloinnin poiskytkeminen vaatisi koneen boottaamisen single-user modeen, ja tähän olen liian laiska. Siispä dump saa nyt jäädä ja on käytettävä toistaiseksi jotain muuta vaihtoehtoa kunnes palvelimen boottaaminen on syystä tai toisesta ajankohtaista.

Rsync

Varmuuskopiointiin on unix-ympäristössä olemassa yleinen ja varsin tehokas työkalu, rsync(1). rsync:llä voidaan kopioida tiedostot yksitellen joko paikalliselle levylle tai etäkoneelle parempaan talteen. rsync osaa myös säilyttää tiedostojen attribuutit, poistaa vanhentuneet tiedostot jo otetuista varmuuskopioista ja käyttää differentiaalista kopiointia joka tekee siitä täydellisen välineen tiedostopohjaiseen datan varmistukseen. Lisäksi on mahdollista käyttää exclude-listoja joilla voidaan kopioinnista poissulkea satunnaista tauhkaa jota ei varmuuskopioon haluta, kuten esimerkiksi erilaisia cache tiedostoja tai /dev ja /tmp hakemistojen sisältö. Yleensä käyttöjärjestelmästä kopioiden ottaminen on turhaa työtä, koska käyttöjärjestelmän uudelleen asentaminen on monasti nopeampaa kuin varmuuskopioiden palauttaminen, mutta allekirjoittaneella on tapana kopioida talteen myös käyttis.

Alla on oma implementaationi varmuuskopioiden ottamiseen, hivenen riisuttuna tosin. Tämä yksinkertainen shell-scripti käyttää rsync:iä varsinaiseen datan kopiointiin, ja on tarkoitettu ainoastaan esimerkiksi. Scriptien lataaminen ja ajaminen suoraan internetistä on ehkä väsynein idea ikinä, mutta jos välttämättä haluat kokeilla, teet sen omalla vastuulla.

#!/bin/sh

export LC_ALL=C
 export PATH=/usr/local/bin:/usr/local/sbin:/usr/bin:/usr/sbin:/bin:/sbin
 export TMPDIR="/tmp"

flag="-v -g -l -o -p -r -t -D -H -A -X -S --numeric-ids --timeout=600 --rsync-path=$(which rsync) --delete-excluded"

host=$(hostname 2>/dev/null | cut -f 1 -d '.')
 temp=${TMPDIR}/.backup_ongoing.${host}

trap "rm -f ${temp}; exit 0" SIGHUP SIGINT SIGTERM

if [ -e "${temp}" ]; then
        _p=$(cat ${temp} | tr -d '\n')

kill -0 ${_p}

if [ "$?" = 0 ]; then
                _s=$(ps ax | grep ${_p} | grep -v grep | awk '{print $5 " " $6}')

echo " ! backup is already ongoing by process ${_p} (${_s}). Abort."

exit 0
        fi

rm -f ${temp}
 fi

echo $$ > ${temp} || exit 1

cat ${host}.destination | while read a; do
        user=$(echo "${a}" | cut -f 1 -d ':')
        dest=$(echo "${a}" | cut -f 2 -d ':')
        path=$(echo "${a}" | cut -f 3 -d ':')
        incl=$(echo "${a}" | cut -f 4 -d ':')
        excl=$(echo "${a}" | cut -f 5 -d ':')

here="`echo ${path}`/${host}/"

_c=0

while(true==0); do
                if [ "${_c}" -ge 60 ]; then
                        echo " ! maximum attempts exceeded. Abort."

break
                fi

rsync ${flag} --exclude-from=${host}.${excl} `cat ${host}.${incl} | tr '\n' ' '` ${user}@${dest}:${here}

if [ "$?" = 0 ]; then
                        break
                fi

sleep 60

_c=$((${_c}+1))
        done
 done

rm -f ${temp}

exit 0

Kopiointiscriptille on myös määriteltävä include- ja exclude listat, eli mitä varmuuskopioidaan ja mitä ei:

 $ cat myserver.include.localhost

 $ cat myserver.exclude.localhost

Lisäksi scriptille tarvitaan kohteet jonne data kopioidaan ja millä käyttäjätunnuksella, tässä käytetään root käyttäjää kopioimaan data ensin paikalliselle levylle /storage/backup hakemistoon ja sieltä edelleen etäkoneelle samaiseen paikkaan:

 $ cat myserver.destination

Näin.

~ Jani Salonen, 1.11.2016

Dump
Rsync